Отец — инженер. Родители принадлежали к кругу социал-демократов — последователей Г. В. Плеханова, известных в русской истории как меньшевики. Это наложило отпечаток на все мышление будущего музыканта, который до конца дней оставался убежденным марксистом, понимая это учение именно в плехановской трактовке. После поражения революции 1905?1907 семья эмигрировала в Бельгию, где и началось музыкальное образование Г. М. Когана.
В 1911 они вернулись в Киев, где в 1914 он поступил в консерваторию. Обучался по классу фортепиано у А. Н. Штосс-Петровой и В. В. Пухальского, также брал уроки композиции у Р. М. Глиэра. Окончив консерваторию в 1920, начал преподавать в ней же и выступать с концертами.
С 1926 по 1943 работал в Московской консерватории, где читал разработанный им курс истории и теории пианизма (с 1936 заведовал кафедрой этой дисциплины). В 1932 возглавил комиссию по подготовке Первого Всесоюзного конкурса музыкантов-исполнителей, однако в дальнейшем вышел из её состава из-за разногласий с Сектором искусств Наркомпроса РСФСР и затем опубликовал в журнале «Советская музыка» (1933, № 4) сдержанно-критическую статью об итогах конкурса. В 1940, после восстановления системы научных званий и степеней, одним из первых получил степень доктора искусствоведения по совокупности заслуг, без защиты диссертации.
В 1941 эвакуировался вместе с основным составом Московской консерватории в Саратов. В 1943 уволился из Московской консерватории в знак протеста против того, что в Москве начали набирать новый штат Московской консерватории, тогда как значительную часть прежнего профессорско-преподавательского состава предполагалось оставить в Саратове. Его место занял его бывший ученик А. А. Николаев. Среди учеников Когана периода его штатной работы в Московской консерватории ? также А. Д. Алексеев, С. Т. Рихтер и другие известные музыканты.
В 1948 принял активное участие в организации Союза советских композиторов, возглавил в нём Комиссию по музыкальному образованию, которая разработала рекомендации по развитию широкой сети музыкальных школ в стране.
По приглашению Назиба Жиганова в конце 1940-х — начале 1950-х был принят в штат Казанской консерватории, где среди его учеников были С. А. Губайдулина, И. Е. Гусельников и другие музыканты.
Как пианист выступал с концертами в СССР и в Болгарии (в капиталистические страны власти его не выпускали), обладая широким репертуаром и пропагандируя музыку малоизвестных композиторов, а также современные советские сочинения. Сфера научных интересов Когана-музыковеда охватывала проблемы психологии исполнительства и работы пианиста, связи техники и стиля. Также ему принадлежат исследования о пианистах и клавесинистах, критические статьи и ряд книг. Был активным пропагандистом творчества С. В. Рахманинова, в рукописи осталась его неизданная книга об этом музыканте. Неизданными остаются также книга мемуаров «Роман моей жизни» и книга афоризмов «Жизнь в мыслях», а также около 60 часов магнитофонных записей: сольная фортепианная игра, курсы лекций и отдельные выступления, интервью, показательные уроки. В 1970 в большой статье «О теории ленинизма и практике строительства социализма в Советском Союзе», распространявшейся в самиздате анонимно или под псевдонимами, провел последовательный марксистский анализ положения в СССР и предсказал неминуемый скорый крах советской власти и реставрацию капитализма.
На основе мемуаров, фото-, аудио- и других материалов архива Г. М. Когана сценарист Михаил Дзюбенко (внук и наследник музыканта) написал сценарий полнометражного (90 мин.) документального фильма о Когане. Фильм задуман как тесное единство музыкального, содержательного и изобразительного рядов. Он должен состоять из 15 эпизодов, каждый из которых в музыкальном отношении представляет собой пьесу, исполняемую героем картины от начала до конца (что не принято в традиционном кинематографе), в содержательном повествует о тех или иных событиях в его жизни, а в изобразительном представляет собой клипы на классическую музыку.
На основе этого сценария режиссёру Ирине Бессарабовой удалось в 2004—2005 снять в единой стилистике две короткометражные картины «Григорий Коган. Транскрипция» и «Маленькая дверь Консерватории» (каждая продолжительностью 26 мин.) Материал для третьей части был частично отснят, но её монтаж и сведение трех частей в единую картину отложены на неопределенный срок из-за отсутствия финансирования. Стилистическое своеобразие отснятых картин и всего замысла в целом сделало этот проект неприемлемым («неформатным») для кинофестивалей и телепоказа.