Александр Карев родился в Санкт-Петербурге, в семье железнодорожного служащего. В трёхлетнем возрасте он остался без отца, и когда ему исполнилось пять, мать отдала его в пансион, предназначенный для обучения детей, оставшихся без одного из родителей. Закончив обучение в пансионе, в десятилетнем возрасте, Карев поступил в немецкую лютеранскую среднюю школу. В январе 1913 года, читая Священное Писание и духовную литературу, молодой Карев обратился к Господу. Почти через два года, в декабре 1914 года, он принял святое водное крещение по вере, и присоединился к Петроградской общине евангельских христиан, возглавляемой в то время Иваном Каргелем.
По окончании школы Карев поступил в Политехнический институт, на общественно-экономический факультет. Институт ему так и не довелось закончить, в связи с гражданской войной. 5 марта 1915 года Карев произнёс свою первую проповедь. После этого он активно включается в деятельность общины. Также Карев активно участвует в деятельности Студенческого христианского движения и Христианского союза молодёжи, возглавляемого бароном Николаи, редактирует христианский молодёжный журнал «Призыв».
В 1922 году, по возвращении из армии, Карев посвящает себя служению во Всероссийском союзе евангельских христиан (ВСЕХ). Сначала он возглавляет отдел переписки, также преподавая на Библейский курсах, и проводя семинары для служителей церкви в Ленинградском библейском колледже. Становится заместителем Проханова, и фактически возглавляет работу ВСЕХ в связи с частыми разъездами последнего. К этому периоду относится расцвет литературного творчества Карева. В 1930 году канцелярия ВСЕХ переезжает в Москву, где Карев и трудится. Во время сталинских репрессий 30-х годов Карев подвергается восьмилетней ссылке.
По возвращении из ссылки в начале 40-х Карев возвращается к деятельности во ВСЕХ, единственном, на тот момент, евангельском союзе, который не был закрыт властями (хотя на практике в союзе оставалась только одна община — Московская церковь евангельских христиан). В связи с вызванными Великой Отечественной войной послаблениями, оказанными сталинским правительством верующим, Карев, совместно с Орловым и другими сотрудниками ВСЕХ, готовит созыв съезда в Москве представителей общин евангельских христиан и баптистов. Этот съезд, состоявшийся в 1944 году, послужил объединению баптистов и евангельских христиан в одну деноминацию, ставшую самой крупной протестантской церковью в СССР.
Вопреки ожиданиям, генеральным секретарём нового церковного объединения избирается не Михаил Орлов, а Александр Карев, который занимает эту должность на протяжении последующих 27 лет, до самой своей смерти в 1971 году. Одновременно Карев назначается и главным редактором журнала «Братский Вестник», который становится официальным печатным органом ВСЕХБ. Несколькими годами позже, под давлением власти к ВСЕХБ присоединяются и пятидесятнические общины.
В 1960-х годах, подписанное Каревым «Инструктивное письмо», запрещающее доступ на богослужения в евангельско-баптистские церкви особ не достигших восемнадцатилетнего возраста, провоцирует внутренний протест, а затем и раскол в церквях союза. Созданная оппозиционерами Инициативная группа добивается проведения второго съезда ВСЕХБ в 1963 году, который хотя и отменяет действие «Письма», из-за чего идёт на конфликт с властью, всё же уже не может восстановить единства деноминации. Карев проводит несколько встреч с лидерами Инициативников Крючковым и Винсом, однако так и не может найти примирения. Напряженные попытки восстановить единство, подрывают здоровье уже немолодого Карева. В 1968 году он переносит сложнейшую операцию, а в 1971 году умирает прямо за письменным столом, готовя доклад к очередному съезду ВСЕХБ.