Алексей Андреевич Тилло родился 13 ноября 1839 года. Происходил из французского дворянского рода, его дед был гугенотом, переселившийся в Киев, но уже отец был русский подданный.
Окончив курс в Киевском кадетском корпусе и Дворянском полку, Алексей Андреевич Тилло 16 июня 1859 года был произведён в прапорщики и зачислен в лейб-гвардии конно-гренадерский полк.
В 1861 году Алексей Андреевич Тилло поступает в Михайловскую артиллерийскую академию, а оттуда на геодезическое отделение Академии Генерального штаба, в которой курс наук заканчивает в 1864 году и был зачислен в Генеральный штаб. В следующие два года Тилло проходил практику на Пулковской обсерватории, после чего собственно и началась его научная деятельность. За это время он последовательно получил чины поручика (30 августа 1861 года), штабс-капитана (6 ноября 1864 года) и капитана (9 ноября 1865 года).
Строевая служба у Алексея Андреевича Тилло тем временем продолжалась в Оренбургском военном округе, где он занимал должность начальника военно-топографического отдела, причём во время научных изысканий он неоднократно бывал в стычках с бухарскими и хивинскими войсками.
31 марта 1868 года он получил звание подполковника и 1 января 1871 года — полковника.
29 октября 1872 года Алексей Андреевич Тилло был назначен командиром Каспийского пехотного полка, которым командовал до 24 июля 1879 года, а уже 20 августа 1882 года с производством в генерал-майоры был назначен начальником штаба 1-го армейского корпуса. После этого 10 января 1894 года получил назначение начальником 37-й пехотной дивизии, а за четыре дня до смерти был назначен сенатором. 30 августа 1894 года получил чин генерал-лейтенанта.
Алексей Андреевич Тилло умер 30 декабря 1899 года в Санкт-Петербурге, похоронен на Смоленском евангелическом кладбище.
Учёная карьера Тилло начинается с его выхода из Академии Генерального штаба, и его первой крупной самостоятельной работой было производство нивелировки между Каспийским и Аральским морями, давшей разность высот этого последнего и океана. С этого времени Тилло уже не оставлял никогда интересоваться собиранием материалов по гипсометрии России и позднее использовал собранные им данные разными способами, но самою выдающейся работой такого рода является его гипсометрическая карта Европейской России, которая в то же время была и первой такой картой, установившей действительно верный и научный взгляд на рельеф России.
К этому же роду работ примыкают труды Тилло по своду нивелировок и по измерению площадей бассейнов рек Европейской и Азиатской России (последний остался незаконченным и этот труд продолжил после его смерти Ю. М. Шокальский), дающие совершенно новые и обоснованные более научно данные по этим вопросам.
Другая отрасль физико-географических знаний, которая не переставала привлекать всю жизнь Тилло, был земной магнетизм; ещё в бытность свою в Оренбурге Тилло издал труд «Земной магнетизм Оренбургского края», а затем ему принадлежит, так же как и в гипсометрии, первая сводка всех магнитных определений в России. Благодаря его заботам была обстоятельно обследована магнитная аномалия в Харьковской и Курской губерниях. Затем им издан целый ряд теоретических трудов по земному магнетизму.
Работы по гипсометрии России заставили Тилло заняться вопросами метеорологического характера и в особенности распределением давления атмосферы. Результатом этих занятий было издание капитального труда с атласом «Распределение атмосферного давления на пространстве Российской империи и Азиатского материка по наблюдениям за 1836—1885 гг.».
Наконец, за последние годы своей жизни Тилло руководил ещё одним крупным делом, начатым по его инициативе, а именно экспедицией по исследованию верховьев главнейших рек Европейской России. Помимо необыкновенно напряженной и плодотворной деятельности в этой экспедиции, Тилло попутно издал «Атлас распределения атмосферных осадков на речных бассейнах Европейской России», где в первый раз даны распределения осадков из месяца в месяц.
Тилло принимал деятельное участие в работе Русского географического общества; в 1884—1889 гг. был членом совета, в 1889—1896 гг. — председателем отделения математической географии, а с 1897 г. — помощником председателя общества.
В 1892 году Тилло был избран членом-корреспондентом Парижской Академии Наук.
Фамилия А.А.Тилло выбита на медали "В память 50-летия КВТ" за особые заслуги перед Корпусом военных топографов.
В 1910 году в РГО была учреждена премия имени А.А.Тилло (по математической и физической географии).