Закончил Смоленскую гимназию с золотой медалью и в 1868 году поступил на юридический факультет Московского университета. Через год перевелся в Санкт-Петербургский университет и закончил там юридический факультет со степенью кандидата права. Но в основание «собственного научного миросозерцания» молодой юрист решил положить биологию и в 1872 году онначал учиться на отделении естественных наук физико-математического факультета Санкт-Петербургского университета, но сразу же перевелся в Московский университет, где и окончил аналогичный факультет со степенью кандидата в 1876 году.
В 1883 году А. А. Тихомиров защитил магистерскую диссертацию в Санкт-Петербургском университете и после двухгодичной командировки за рубеж получил должность приват-доцента кафедры зоологии Московского университета.
В 1891—1898 годах Тихомиров был секретарем физико-математического факультета МГУ. С 1896 года до 1904 занимал должность директора Зоологического музея Московского университета. Участвовал в правом академическом движении, был противником дарвинизма и атеизма.
Тихомиров открыл явление искусственного партеногенеза — одного из важнейших разделов учения об индивидуальном развитии. Как учёный Тихомиров много сделал для развития шелководства в России.
Ректор МГУ с 1899 года по 1904 год.
В должности ректора А. А. Тихомиров завершил строительство первого студенческого общежития в Московском университете. Оно было рассчитано на 141 квартиру и открыто в торжественной обстановке 19 сентября 1899 года. Тихомиров продолжил капитальное строительство в университете; при нём 1 сентября 1901 года вступил в строй библиотечный корпус на Моховой улице; значительным событием стало открытие нового здания Зоологического музея 1 сентября 1902 года. В 1900 году были открыты кафедры грузинского языка и литературы на историко-филологическом факультете и метеорологии на физико-математическом факультете; были созданы Институт и Музея сравнительной анатомии (1901), построена под руководством Н. Е. Жуковского первая в России аэродинамическая труба (1902), открыт Физический институт.
1 августа 1904 года назначен директором департамента народного просвещения.
В 1911—1917 годах он работал в должности попечителя Московского учебного округа.
Последние 14 лет жизни провел в Сергиевом Посаде.