А. А. Киселёв родился в Свеаборге (сейчас административный район Хельсинки), воспитывался в Аракчеевском кадетском корпусе, а с 1852 года во 2-м Санкт-Петербургском кадетском корпусе. Не закончив курса, оставил корпус в 1858 году поступил в Петербургский университет, после закрытия Петербургского университета в связи со студенческими волнениями осени 1861 года стал посещать классы Императорской Академии художеств, в качестве вольноприходящего ученика.
Получив от академии большую серебряную медаль и звание классного художника III статьи (в 1864 году), в 1875 году примкнул к Товариществу «передвижников», в выставках которого с той поры и участвовал почти ежегодно. Работал в Москве, весьма часто предпринимая поездки в разные места России с целью создания этюдов для своих картин, прекрасно передающих природу в разные времена года и часы дня, при различном состоянии атмосферы. Позже писал виды Кавказа, имевшие большой и заслуженный успех.
В 1906 году стал одним из учредителей Северного кружка любителей изящных искусств в Вологде. Благодаря авторитету А. А. Киселёва членам кружка удалось установить связи в Санкт-Петербурге и привлечь к участию в своих выставках живописцев Академии художеств.
В 1902 году Киселёв построил себе дом в Туапсе, т. к. побывав в этом районе побережья ранее был поражён красотой местных пейзажей. Сейчас в Туапсе находится дом музей Киселёва. Скала между мысом Кадош и посёлком Агой названа скалой Киселёва т. к. была изображена им на картине «Кадошские скалы».