Ясуси Иноуэ родился в семье военного врача Хаяо Иноуэ и Яэ, происходившей из рода потомственных врачей. В возрасте шести лет Ясуси Иноуэ был отдан на воспитание бабушке, бывшей гейше, которая проживала в селе префектуры Сидзуока. Обучаясь в средней школе Нумадзу, Ясуси Иноуэ увлёкся поэзией. В 1926 году Иноуэ переехал в Канадзаву, где проживали его родители. В это время усиленно занимался дзюдо и начал писать стихи. Не сдав вступительные экзамены на медицинский факультет Университета Кюсю, поступил на филологический факультет (отделение английского языка). Прервав обучение в Университете Кюсю, перевёлся в Университет Киото, где изучал философию и эстетику, и который закончил в 1936 году с дипломной работой о поэзии Поля Валери.
В 1935 году Иноуэ женился на Адати Фуми (дочери профессора антропологии). Иноуэ опубликовал несколько стихотворений и рассказов в различных журналах, но бросил карьеру писателя и стал журналистом еженедельника газеты «Майнити симбун» Осака. После военной службы в Северном Китае (1937—1938) Иноуэ продолжил работать в отделе культуры газеты «Майнити».
В послевоенное время Иноуэ приобрёл известность как писатель благодаря новеллам «Охотничье ружье» и «Бой быков», за последнюю из которых был награждён Премией имени Рюноскэ Акутагавы в 1949 году.
После переезда в 1951 году в Токио посвятил себя полностью писательскому труду. С 1964 года стал членом Академии Искусств Японии. В 1976 был удостоен одной из высших наград, возможных в Японии для человека творческого труда: ему было присвоено звание «нингэнкокухо», что буквально означает «человек — национальное сокровище». В 1984 сменил Кавабату Ясунари на посту президента японского отделения «Пэн-Клуба».
Одиночество и отношения между людьми — основные темы его творчества, в которое входят исторические романы, многочисленные рассказы и стихи.