Андрей Киселёв родился в старинном городе Мценске Орловской губернии 30 ноября 1852 года в бедной мещанской семье. Он был последним ребёнком; в ревизских сказках Мценского уезда за 1858 год в составе семьи значатся: Петр Петрович Киселев, 43 лет, жена его Анна Николаевна, 40 лет, и шестеро их детей; сыновья: Николай - 20 лет, Петр - 10 лет, Андрей - 5 лет; дочери: Пелагея - 10 лет, Мария - 8 с половиной лет и Александра - 7 лет.
В Орловскую гимназию он был принят сразу во второй класс после окончания уездного училища в Мценске. В 1871 году он окончил её с золотой медалью и поступил на физико-математический факультет Петербургского университета.
В университетские годы Киселев слушал лекции П. Л. Чебышева, профессоров А. Н. Коркина, Е. И. Золотарёва и О. И. Сомова. В эти годы он вобрал в себя всё лучшее, что мог дать Петербургский университет — один из крупнейших в Европе. Тогда же он сделал первые шаги в собственном математическом творчестве.
После окончания (1875) со степенью кандидата физико-математического факультета Петербургского университета по математическому разряду, работал (до июля 1891 года) преподавателем математики, механики и черчения в только что открывшемся Воронежском реальном училище. Затем, в течение года — в Курской мужской гимназии и, наконец, в Воронежском кадетском корпусе (1892—1901). В1901 году он вышел в отставку и стал заниматься главным образом литературной работой.
После 1917 года преподавал математику в Воронеже и Ленинграде.
За свою педагогическую деятельность Киселев был удостоен орденов Святой Анны 3-й степени (1894), Святого Станислава 2-й степени (1896), Святой Анны 2-й степени (1899), орденом Трудового Красного Знамени (1934).
В 1938 году Андрей Петрович Киселёв сказал:
Аннотации к учебникам А. П. Киселева
Академик РАО Ю. М. Колягин, заслуженный деятель науки РФ, заслуженный учитель школы, доктор педагогических наук, профессор, так характеризует А. П. Киселёва:
Л. Н. Аверьянова, заместитель директора Государственной научной педагогической библиотеки имени К. Д. Ушинского:
Академик В. И. Арнольд:
Ещё в студенческие годы, в 1874 году, А. П. Киселёв женился на Марии Эдуардовне Шульц. У Киселева было трое детей. В Воронеже жили на Садовой улице. Сын Владимир окончил Петербургский университет и связал свою жизнь с флотом. Средняя дочь (в замужестве Замятина) в 1907 году закончила в Петербурге женский медицинский институт. Старшая дочь Елена училась на Бестужевских курсах, готовясь получить диплом педагога-математика, но из-за болезни не окончила их. Продолжила образование в Петербургской Академии Художеств в мастерской И. Е. Репина и получила звание художника: была одной из любимейших учениц И. Е. Репина. Жили Киселёвы в Петербурге на Васильевском острове и на даче в Ольгино.
Похоронен в Петербурге на Волковом кладбище. Его могила — рядом с могилой Д. И. Менделеева.
В Орле одна из улиц получила имя А. П. Киселева. Около здания бывшей мужской гимназии (пер. Воскресенский, д.5.; ныне здесь располагается исторический факультет Орловского государственного университета) установлен его бюст.
Во Мценске родная школа Андрея Петровича (ныне - №3) носит его имя.