А. И. Кракау родился 8 апреля 1817 года в Санкт-Петербурге. Общее образование получил в Немецком училище Св. Петра (1825—1832), по окончании которого, в том же 1832 году Кракау поступил в Императорскую Академию художеств (ИАХ), в класс академика архитектуры К. А. Тона. В 1839 году Кракау окончил Академию Художеств с Большой золотой медалью, что давало ему право выехать за границу для продолжения обучения. Но воспользовался этим правом он смог только через три года. Перед этим молодой архитектор работал у своего учителя К. А. Тона в чертёжной комиссии для постройке Храма Христа Спасителя в Москве.
В 1842 году Кракау выехал а Италию, где занимался изучением памятников зодчества и участвовал в капитальном труде своих академических товарищей, А. И. Резанова и Н. Л. Бенуа по реставрации Орвиетского собора. Кракау вернулся обратно в Россию только в 1850 году. По возвращении из заграницы ему было присвоено звание академика архитектуры и он был зачислен штатным архитектором в Чертежный Кабинет Его Императорского Величества. В 1853 году за проект греко-российской церкви Александр Кракау был удостоен звания профессора архитектуры.
На следующий 1854 год Кракау был назначен старшим архитектором в правлении Первого округа путей сообщения. На этом посту он создал одну из своих самых известных построек — здание Балтийского вокзала на Обводном канале (1855—1857 гг.). Этот вокзал строился на личные средства барона А. Л. Штиглица, который и доверил архитектору данную работу. Кроме того, по его проекту был построен особняк для А. Л. Штиглица (Английская наб., 68). А впоследствии, в 1878-81 годах, А. И. Кракау в содружестве с архитектором Р.А Гёдике создал проект и построил здание Училища технического рисования барона Штиглица (Соляной пер., 13). Также для барона А.Л Штиглица были построены дача на Каменном острове и церковь-усыпальница в Иван-городе (Нарва).
С 1867 г. и до конца своей жизни Кракау преподавал архитектуру в классах ИАХ. Как художник, он заслуженно пользовался репутацией человека с большим вкусом, превосходного рисовальщика и знатока стилей, преимущественно стиля блестящей поры итальянского Возрождения. Своим преподаванием в классах академии Кракау приносил неоценимую пользу в образовании своих учеников и последователей.
За особые заслуги на поприще архитектуры А. И. Кракау был награждён орденами Св. Станислава первой степени и Св. Анны первой степени. В 1882 году зодчий был произведён в тайные советники, а в 1885 году получил потомственное дворянство.
Александр Иванович Кракау скончался 12 апреля 1888 года. Согласно завещанию, его отпевали в лютеранской церкви святого Петра на Невском проспекте и похоронили на Смоленском кладбище.