Окончил школу в Евпатории. В 1936 послан в ленинградское, а с 1938 в киевское военное училище; офицером участвовал в Советско-финской и Великой Отечественной войне; с 1944 — член партии. В 1945—1946 годах был слушателем Военной академии им. М. В. Фрунзе (уволен по болезни). С 1948 учился и в 1953 окончил Литературный институт, где занимался, в частности, в семинаре К. Паустовского, с которым сохранил дружеские отношения. С 1953 Балтер на протяжении нескольких лет руководил литературным отделом Хакасского НИИ языка, литературы и истории в Абакане, переводил сказки с хакасского языка в 1955 и 1958. Балтеру принадлежала инициатива издания сборника «Тарусские страницы», выпущенного Паустовским в 1961. Он жил в Москве и был исключен из партии в 1968 после того, как подписал письмо в защиту Ю. Галанскова и А. Гинзбурга. До конца жизни он занимался переводами с узбекского и таджикского языков.
Булат Окуджава посвятил ему одно из своих стихотворений:
Не всё ль равно, что нас сведет в могилу — пуля иль простуда?
Там, верно, очень хорошо: ведь нет дурных вестей оттуда.
Я жалоб не слыхал от них, никто не пожелал вернуться.
Они молчат, они в пути. А плачут те, что остаются.
Они молчат Бог весть о чем — иные берега пред ними,
И нету разницы для них между своими и чужими.
К великой тайне приобщась, они уходят постепенно
Под скорбный марш,
Под вечный марш,
Под польский марш,
Под марш Шопена.
Ещё до окончания института в 1952 году в альманахе «Владимир» выходит первая повесть Б. Балтера «Первые дни» о начале войны. В 1953 году эта повесть вошла в отдельный сборник прозы писателя. В последующие годы Балтер занимается литературно-переводческой деятельностью в Хакасии. Результатом этой работы стали книги «Хакасские народные сказки» и два сборника исторических повестей о прошлом хакасского народа - «Степные курганы» и «О чем молчат камни». Все три книги вышли в переводе, литературной обработке и с предисловием Балтера.
Главное произведение Балтера — в немалой степени автобиографическая повесть «Трое из одного города» (1961), позднее переработанная в «До свидания, мальчики!» (1962, взято из песни Булата Окуджавы). В этой повести Балтер рассказывает о последних школьных днях троих мальчиков в июне 1936 в небольшом крымском городе (г. Евпатория). Рассказ ведется от первого лица, время от времени рассказчик оценивает происходящие события с высоты своего взрослого опыта. Сразу после опубликования в журнале "Юность" (№8-9, 1962 г.) повесть покорила сердца миллионов людей. Через год повесть вышла отдельной книгой. Она была переведена на многие языки и издана во многих странах.
В 1964 году Борис Балтер в соавторстве с В. Токаревым написал по мотивам повести «До свидания, мальчики» пьесу. Она неоднократно с большим успехом шла во многих театрах. В том же году Балтер в соавторстве с Михаилом Каликом по мотивам своей книги создал сценарий одноименного художественного фильма. Фильм «До свидания, мальчики!» снимался в Евпатории. Он вышел на экраны в 1966 г. и оставил заметный след в мировом кинематографе. В связи с эмиграцией в 1970-х годах режиссёра в Израиль, показ фильма был запрещён в Советском Союзе.
В октябре 1965 года в 10-ом номере журнала «Юность» был напечатан рассказ Балтера «Проездом». Это была последняя прижизненная публикация писателя в популярном журнале. Почти через четверть века, в 1989 году, журнал «Юность» посмертно опубликовал незаконченную повесть Бориса Балтера «Самарканд».