Происходил из дворянского рода Ярославской губернии. Отец — артиллерийский офицер. Родился и провёл детство в Финляндии. В 15 лет поступил в Благородный пансион при Демидовском высших наук училище в Ярославле, а в 1834 году поступил в 5-й класс Ярославской гимназии. В 1836 году поступил в Московский университет вначале на медицинский факультет, но затем перешёл на историко-филологический факультет. Изучал русскую историю у профессора М. П. Погодина. Будучи студентом составил: «Указатель к сочинению Н. С. Арцыбашева „Повествование о России“» (1838 год) и рассуждение на тему «О влиянии внешней природы на народ и государство» (в 1837 году награждён за него серебряной медалью).
По окончании в 1840 году университета, по рекомендации М. П. Погодина, поступил чиновником в Археографическую комиссию. Параллельно с работой в комиссии преподавал в 1841—1850 годы русскую словесность в дворянском полку. В 1844 году назначен хранителем отделения рукописей и старопечатных церковно-славянских книг Публичной библиотеки. Приступив к работе, начал составление инвентарного каталога. В 1850 году был издан подготовленный им «Систематический каталог рукописям и автографам» в 21 томах. Став хранителем Публичной библиотеки, не прекратил свою работу в Археографической комиссии: в 1854—1873 годы был главным редактором издания ПСРЛ, а в 1891 году стал председателем комиссии.
По поручению Министерства народного просвещения А. Ф. Бычков сделал заключение о Древлехранилище М. П. Погодина (древние иконы, кресты, монеты, находки из курганов, богатое собрание старопечатных книг и рукописей). Оно послужило основанием для приобретением государством этой коллекции и после её покупки книжное собрание Погодина поступило в 1852 году в Публичную библиотеку. 13 декабря того же года библиотеку посетил император Николай I и осмотрел собрание Погодина. Бычков начал работу над составлением описания этого собрания: в 1878—1882 годы выходило «Описание церковно-славянских и русских рукописных сборников Императорской Публичной библиотеки», но труд остался неоконченным.
Кроме работы в Публичной библиотеке и Археографической комиссии Бычков участвовал в работе комиссии Главного комитета по разработке положения о крестьянской реформе 1861 года, в комиссии об устройстве архивов, составлении законоположений по преобразованию судебной части, проекта Устава о книгопечатании. В 1862 году был включён в комиссию по разбору и описанию архива Святейшего Синода, а в январе 1866 года стал её председателем.
22 апреля 1882 года был назначен директором Публичной библиотеки. За период его директорства фонды библиотеки пополнили 673 291 единиц хранения (среди них — 505 399 наименований книг в 579 978 томах, 2 546 карт и планов, 21 959 эстампов и фотографий, 53 368 рукописей и автографов). Бочков начал работу по строительству нового здания библиотеки. 30 ноября 1890 года император одобрил план и фасад постройки, которую решили разместить на Александрийской площади как пристройку к старому зданию. Проект выполнил архитектор Е. С. Воротилов 1 сентября 1896 года было начато строительство, которое завершилось уже после смерти Афанасия Бочкова.
В 1888 году Бычков стал членом Совета министра народного просвещения, а в 1890 году членом Государственного совета Российской империи. Скончался 2 (14) апреля 1899, похоронен на Никольском кладбище Александро-Невской лавры.