Родился в давно обосновавшейся в России немецкой семье. Дед Гедике, Карл Андреевич, известный в Москве педагог, служил также органистом московской католической церкви Святого Людовика Французского, отец, Фёдор Карлович, работал там же и преподавал в Московской консерватории, двоюродным братом Гедике был композитор Н. К. Метнер.
В 1898 Александр Гедике окончил Московскую консерваторию, где учился у П. А. Пабста и В. И. Сафонова по классу фортепиано, у А. С. Аренского, Н. М. Ладухина и Г. Э. Конюса по классам теории музыки и композиции. В 1900 г. участвовал в Третьем Рубинштейновском конкурсе в Вене как пианист и как композитор, и в композиторской номинации был удостоен первой премии за Концертштюк для фортепиано с оркестром.
С 1909 года Александр Фёдорович Гедике был профессором Московской консерватории по классу фортепиано, с 1919 ? заведовал кафедрой камерного ансамбля. В 1923 возглавил класс органа (игре на котором обучался с детства под руководством отца) и дал свой первый сольный концерт на инструменте Большого зала консерватории. Среди его учеников-органистов ? Н. Я. Выгодский, М. Л. Старокадомский, Л. И. Ройзман, С. Л. Дижур, Г. Я. Гродберг, И. Д. Вейс. В репертуаре Гедике были все сочинения И. С. Баха, а также собственные переложения для этого инструмента фрагментов из опер, симфонических и фортепианных сочинений. В 1947 за исполнительскую деятельность Гедике был удостоен Сталинской премии.
Стиль Гедике-композитора находится под влиянием органной культуры и отмечен серьёзностью и монументальностью, ясностью формы, мастерским владением полифоническим письмом. В то же время Гедике ? наследник традиций русской классической школы. Он является автором четырёх опер, кантат, множества симфонических, фортепианных и органных сочинений, концертов и камерных произведений для духовых инструментов, романсов и обработок русских народных песен (в том числе известной песни «Жил-был у бабушки серенький козлик»).
Гедике умер в Москве 9 июля 1957 года, похоронен на Введенском кладбище.