Абэ родился в семье бывшего самурая в городе Канадзава. Он учился в высшей школе Хибия, а затем — в высшей школе № 4. В студенческие годы он записался добровольцем в армию и участвовал в японо-китайской войне 1894—1895 годов.
После победы Абэ закончил Военную академию Императорской армии, потом Высшую военную академию. Генерал Араки Садао учился с ним в одном классе. С 1918 по 1921 годы Абэ был командующим Третьего артиллерийского полка. Полк был послан в Россию в ходе гражданской войны, но не принимал участия в боевых действиях.
В 1933 году Абэ стал генералом армии и главнокомандующим Тайваньской армии. В 1936 он был переведен в резерв.
После отставки кабинета Хиранумы Киитиро, чиновники выдвинули на освободившийся пост премьера кандидатуры Коноэ Фумимаро и Хироты Коки, а военные — генерала Угаки Кадзусигэ. Гэнро Сайондзи Сайондзи не поддержал ни одного из кандидатов. Вскоре Угаки заболел и был госпитализирован. Новым кандидатом от военных стал Абэ, который представлялся компромиссной фигурой, так как он не принадлежал ни к одной группировке внутри армии.
На посту премьер-министра Абэ провозгласил нейтралитет Японии во Второй мировой войне. Он был убежденным противником союза Японии с Третьим рейхом и фашистской Италией.
Поскольку Абэ не пользовался поддержкой японских политических партий, в январе 1940 года он был вынужден уйти в отставку.
В 1942 году Абэ стал членом Палаты Лордов в японском парламенте, а в 1944 году сменил Койсо Куниаки на посту генерал-губернатора Кореи. После капитуляции Японии во Второй мировой войне Абэ передал полномочия командующему войсками США в Корее Джону Ходжу.
Позже Абэ был уволен с государственной службы и арестован оккупационной администрацией США. На суде он был полностью оправдан и вскоре выпущен на свободу.