Андрей Васильевич Пастухов родился 16 августа 1858 года в семье конюха. В некоторых источниках ошибочно указывается 1860 год. Истинная дата установлена согласно справке, выданной Государственным архивом Харьковской области. В Послужном списке А. В. Пастухова указана дата 18 августа, но это, скорее всего, дата крещения, так как в те времена детей обычно крестили на 2-3 день после рождения.
В 1872 году Андрей Пастухов оканчивает коннозаводское училище и получает должность писаря при канцелярии конного завода. Через два года по приказу из Главного управления откомандирован в Петербург для обучения на письмоводителя. После успешного окончания курсов поступает писарем 2-го класса в канцелярию Управления государственного коннозаводства.
Большую роль в жизни Пастухова сыграл военный топограф Сидоров (имя и отчество не установлено), который летом 1876 года прибыл в Деркульский конный завод для исправления старой карты Старобельского уезда, и остановился на временное проживание в доме, где жил Пастухов. От него Андрей Васильевич впервые узнает о профессии топографа, и по его же совету поступает на службу в армию в звании вольноопределяющегося, чтобы попасть в училище военных топографов.
Андрей Васильевич Пастухов блестяще сдал экзамен по программе вольноопределяющихся в Санкт-Петербургскую военную гимназию и 28 января 1877 года был определен в Корпус военных топографов, с зачислением в учебную команду военных топографов.
Командование не обошло вниманием способности молодого топографа, и уже 1 апреля 1879 года был выдан приказ о производстве Андрея Васильевича Пастухова в унтер-офицеры и назначении его на топографическую съемку Курляндской губернии. Через год, после окончания учебы, Пастухов был отправлен по месту назначения в команду топографов.
Но Андрей Васильевич мечтал о военной карьере и хотел стать полноценным самостоятельным топографом. Поэтому 30 мая 1881 года он подает в отставку и снова сдает экзамены для поступления в Корпус военных топографов. Известно, что на этих экзаменах он получил полный бал по предмету, однако в поступлении ему было отказано «за неимением вакансий».
После неудачи в поступлении Пастухов был назначен на службу в Военно-топографический отдел Кавказского военного округа, в город Тифлис (ныне Тбилиси). При содействии начальника отдела, Иеронима Ивановича Стебницкого, 11 ноября 1881 года он сдает экзамены на первый классный чин в Тифлисском юнкерском училище.
Только через год, 19 сентября 1882 года, Андрей Васильевич Пастухов был произведен в младшие военные топографы.
В 1883 году Пастухову поручили картографирование Дагестана в районе вершины Шахдаг, вверх по реке Самур. В подчинение ему дали конвой — восемь казаков Усть-Хоперского полка, которым предстояло быть ему помощниками и стражами. Работа заняла все лето. Её результаты были высоко оценены, но сам Андрей Васильевич остался недоволен тем, что ему так и не удалось достигнуть вершины. Правда, работать приходилось в плохих условиях, практически безо всякого снаряжения, и редко кому из топографов удавалось подняться выше трёх с половиной тысяч метров.
В 1887 году Пастухов поднимается на вершину Андийского хребта.
По-настоящему заговорили об А. В. Пастухове после того, как в 1889 году он поднялся на вершину Казбека вместе с казаками Лапкиным и Потаповым и с проводником-осетином из села Тменикау Тепсарико Цараховым.
В 1890 году Пастухов совершает первое восхождение на Эльбрус. Немецкий историк альпинизма Эггер назвал это восхождение «первым настоящим восхождением без проводников». Была произведена топографическая съемка, составлены схемы ледников, составлена коллекция минералов горных пород.
В том же 1890 году Пастухов поднялся на самую труднодоступную вершину Кавказа — Ушбу, через год на Халац и еще через год — на Шах-Даг. Дважды поднимается он на Алагез (1893 и 1895 года), три раза на Большой Арарат (1893, 1894, 1895 года), два раза на Малый Арарат (1893 и 1895 года).
Спустя 6 лет после первого восхождения на Эльбрус, в 1896 году, Андрей Васильевич совершает второе восхождение, на этот раз на восточную вершину. Так, он стал первым альпинистом, поднявшимся на обе вершины Эльбруса.
Чрезмерные физические нагрузки негативно сказывались на здоровье Пастухова. Летом 1899 он вынужден был прервать полевой сезон и отправиться на лечение в Пятигорск. При осмотре врачи обнаружили застарелую язву.
23 сентября 1899 года, в возрасте сорока одного года в больнице города Пятигорск Андрей Васильевич Пастухов скончался.
26 сентября, согласно завещанию, он был похоронен в нескольких метрах от вершины горы Машук.
Совершил восхождения:
Благодаря Андрею Васильевичу Пастухову на карте Кавказа почти не осталось белых пятен. Он первый составил карты вершин Большого Кавказа: Эльбруса, Казбека, Арарата, Алагеза, Халаца, Ушбы. При каждом восхождении выполнял обширную программу наблюдений и исследований, составлял планы вершин. Осуществил связь Закавказской триангуляции с триангуляцией Северного Кавказа.
Пастухов написал много познавательных очерков о жизни животных, птиц и насекомых в тех местах, где еще не работали другие исследователи. Андрей Пастухов опроверг мнение о том, что птицы в своих ежегодных миграциях не могут преодолеть Кавказский хребет.
Во время своих путешествий А. В. Пастухов записывал историю, обычаи, верования горских племен. Он был первым, кто дал подробную характеристику экономики аулов, все иллюстрируя статистическими данными, собранными им лично.
Пастухов считается изобретателем так называемых «кошек» — снаряжения, которое используют альпинисты до сих пор.