Родился в семье педагогов, отец Михаил Никифорович — преподаватель математики, инспектор Императорского училища Большого и Малого театров, мать Зинаида Алексеевна преподавала иностранные языки.
В 1914 году окончил с золотой медалью 5-ю Московскую классическую мужскую гимназию, поступил в Санкт-Петербургский политехнический институт.
Когда началась Первая мировая война, Алексей Черёмухин оставил учебу в институте и поступил вольноопределяющимся в 13-й корпусной авиационный отряд в действующей армии. В июне 1915 года он был направлен в школу авиации Императорского Московского общества воздухоплавания, где попал на четырехмесячные «Теоретические курсы» Н. Е. Жуковского, что, возможно, и предопределило его будущую судьбу авиационного конструктора. Лекции читали ученики профессора, там же Черёмухин познакомился и с А. Н. Туполевым. По окончании курсов выдержал экзамен на лётчика и был направлен на юго-западный фронт в 4-й Сибирский корпусной авиационный отряд. 24 марта 1916 года произведен в чин прапорщика. В апреле 1916 года прапорщик Черёмухин совершил свой первый боевой полёт, а 12 декабря 1916 года был высочайше удостоен звания «военного лётчика». Всего до конца войны им было выполнено 140 боевых вылетов, связанных с разведкой, корректировкой огня и истребительным прикрытием.
За мужество и отвагу был награжден орденом Св. Владимира 4-й ст. с мечами и бантом, орденами Св. Анны 2-й ст. с мечами, 3-й ст. с мечами и бантом, 4-й ст. с надписью «За храбрость», орденами Св. Станислава 2-й ст. с мечами и бантом и 3-й ст., а также высшим боевым орденом Франции — «Военным крестом».
20 декабря 1917 года Управлением Военного Воздушного Флота А. М. Черёмухин был назначен инструктором в Качинскую военную авиационную школу в Севастополе, после расформирования которой в марте 1918 года вернулся в Москву.
После возвращения в Москву поступил в МВТУ (закончил его в 1923 году), с 1920 года работал лётчиком-экспериментатором в Комиссии по тяжелой авиации (КОМТА). Кроме этого, начал исследования в области методов расчета продольной устойчивости самолёта.
С 1918 работал в Центральном аэрогидродинамическом институте, где принимал участие в конструировании и постройке первых советских самолётов (1918-22). Конструктор и испытатель первых советских вертолётов (1927-35), руководитель «геликоптерной группы» ЦАГИ. Результатом работы этой группы стал первый управляемый вертолёт ЦАГИ-1ЭА, совершивший свой первый полёт в сентябре 1930 года.
14 августа 1932 года А. М. Черемухин установил на первом советском вертолёте ЦАГИ 1-ЭА неофициальный мировой рекорд высоты полёта — 605 м. С 1938 в опытном КБ А. Н. Туполева; с 1953 заместитель генерального конструктора.