Родился в Хиросиме в семье военного (капитана флота). Вырос в городе Фудзисава (преф. Канагава), куда в 1935 году был переведён отец. Там же в Канагаве окончил школу, где вместе с ним учились?Синтаро Исихара и Дзюн Это. Высшее образование получил в Токийском университете (филологический факультет, отделение французской литературы). В студенческие годы активно участвовал в постановках университетского театра, подрабатывал репетитором (в числе учеников оказались в будущем известные виолончелисты Цуёси Цуцуми и Кэнъитиро Ясуда). После окончания университета в 1959 году поступил на работу на «Радио Токио» (позднее переименовано в TBS). Работая на радио и на телевидении, начал писать. Дебютировал в 1962 году с рассказом «Детская комната» (????), удостоенным премии журнала «Литературный мир» для дебютантов. В 1968 году был напечатан «Несовершеннолетний» (???), первый сборник рассказов писателя. Сам рассказ «Несовершеннолетний» и пять других работ Абэ малой формы в 1963—1969 гг. выдвигались на премию Акутагавы. Премии он удостоен не был, однако количество выдвижений на неё (6) до сих пор остаётся рекордным.
Во многом поворотной для Абэ стала написанная по мотивам жизни отца новелла «У командира выходной» (?????, 1970), ознаменовавшая обретение нового стиля и привлёкшая к автору внимание. Уволившись в 1971 году из «TBS», он принял решение посвятить себя литературе и вернулся в Фудзисаву, где до своих последних лет вёл скромное существование. Там вскоре после переезда были написаны сборники рассказов «Тысяча лет» (??, 1973, премия Майнити) и «Один день из жизни человека» (?????, 1976, премия Правительственного агентства по культуре). После скоропостижной кончины писателя в 1989 году от остановки сердца «Иванами сётэн» было издано полное собрание сочинений Абэ в 14 томах.
Морское побережье Канагавы, где Абэ жил почти с рождения, стало сценой большинства его произведений. Темы и герои его работ также глубоко автобиографичны, будь то некогда военный, а теперь дезориентированный в жизни после поражения в войне стареющий отец, слабоумный старший брат писателя, его сын. В этом смысле Абэ считается продолжателем японской традиции сисёсэцу и причисляется к так называемому «поколению интровертов». Среди представителей последнего Абэ, однако, выделяется подчёркнутым аскетизмом и тяготением к малой форме, в которой он достиг наибольшей выразительности. На фоне ставшего общим местом в послевоенной японской литературе доминирования романа «анахронично» придерживался приоритета именно рассказа как своего излюбленного жанра. Рассказы Абэ отличаются выверенностью и глубокой проработкой деталей, большой плотностью текста. Скромный образ жизни и выбор малой формы стали своего рода протестом писателя против литературного мэйнстрима. Также получил признание как вдумчивый литературный критик. Широко известен сборник его литературоведческих работ «Ода рассказу» (??????, 1987).