С родителями переехал из Москвы в Вильнюс в 1951 году. С конца 1960-х вместе с переехавшим в Вильнюс из Архангельска в 1967 году Владимиром Тарасовым (ударные инструменты) и фотографом Григорием Таласом (контрабас) играл джаз в вильнюсском кафе «Неринга». Окончил Вильнюсскую государственную консерваторию. В 1968—1984 годах заведующий музыкальной частью Русского драматического театра в Вильнюсе.
С 1970 года Ганелин и Тарасов формально числились участниками художественной самодеятельности Дома культуры строителей. Выступали дуэтом на фестивале «Янтарная труба» в Каунасе, на джазовых фестивалях в Горьком (1970), Донецке (1971). В Свердловске, где Ганелин, Талас и Тарасов выступали с концертом, познакомились с саксофонистом Владимиром Чекасиным. С переездом Чекасина в Вильнюс (1971), где он начал работать в духовом оркестре «Тримитас» („Trimitas“; «Труба»), образовалось известное джазовое трио Ганелин — Тарасов — Чекасин (ГТЧ), которое выступало под эгидой Государственной филармонии Литовской ССР. Трио ГТЧ выступало на фестивалях «Юность-71» в Днепропетровске, «Путешествие в мир джаза» в Москве (1971), в ежегодном фестивале «Осенние ритмы» ленинградского джаз-клуба «Квадрат» в конце 70-х годов, позднее за рубежом по всей Европе, кроме Албании, и в 1986 году в США в 16 наиболее крупных городах, выпустило много записей.
Трио существовало по 1986 год. Прекрасное знание как академического, так и джазового авангарда XX века, свободное художественное мышление позволяло им создавать музыкальные картины, основанные на оригинальном переплетении фри-джаза, фольклора, модального джаза и камерной музыки. Трио ГТЧ стало первой советской группой, покорившей Западную Европу музыкой, не подражавшей известным американским образцам.
Ганелин уже в 1985 году по авторитетным европейским и американским опросам входил в число лучших джазовых композиторов и лучших исполнителей в области свободного джаза — легендой советского джаза, являлся членом Союза композиторов. Написал музыку к более чем 30 спектаклям и 6 мюзиклам. Автор музыки нескольких концертов для отдельных инструментов, более 50 песен и музыки к более 60 кинофильмов киностудий «Мосфильм», «Ленфильм», «Литовская киностудия» и др. По мотивам повести Казиса Боруты «Мельница Балтарагиса» написал мюзикл; ставился в театрах, реализован в кинофильме-мюзикле «Чёртова невеста» (лит. «Velnio nuotaka»; 1974; режиссёр Арунас Жебрюнас), саундтрек выпущен пластинкой фирмы Мелодия. Написал оперу «Рыжая колдунья и солдат», поставленную в 1977 году Московским камерным музыкальным театром. Всего написал 3 оперы.
Выступает со многими музыкантами из разных стран: Эрикой Цимбровской и её мужем художником Вадимом Пуендаевым, также и с художником-перформансистом Алексом Кремером, дуэтах, ориентированных на этническую музыку: с певицей Эсти Офри Кенан и с Гершоном Вайсерфирером — исполнителем на уде, со скрипачом Моти Шмидтом, с ударником Микки Маркович и саксофонистом Борисом Гаммер, играет с Пятрас Вишняускасом и с Клаус Кугелем (The Ganelin Trio Priority), а также экспериментирует в дуэте с известной пианисткой Ириной Беркович. Участвует в постоянной передаче на израильском общенациональном радио с Дани Карпелем. Рубрика называется: «В лаборатории у Ганелина».