Родители учёного происходили из крестьян Костромской губернии. Отец, Павел Федосеевич Константинов (род. 1874), лет 14—15 отправился в Петербург на отхожий промысел. Поработав разносчиком в чайной торговле и подсобником в немецкой хлебопекарне, в 16 лет стал маляром. Работал десятником, впоследствии прорабом у подрядчика Корнилова. В 1900 вошёл в дело Корнилова как компаньон, затем стал самостоятельным подрядчиком строительных работ. Выполнял довольно значительные частные и государственные подряды и стал владельцем крупной недвижимости. Мать, Агриппина Петровна Константинова (род. 1876), урождённая Смирнова, в 19 лет вышла замуж и всю жизнь была домашней хозяйкой. Родила 8 сыновей и 4 дочерей, из которых трое умерли в раннем возрасте.
Борис Павлович родился в Санкт-Петербурге в 1910 году, девятым ребёнком в семье. Отец, образование которого ограничивалось лишь четырьмя классами школы, сумел привить детям интерес к знаниям; все девять доживших до взрослого возраста детей получили высшее образование. В шесть лет Борис умел читать и писать, и осенью 1916 отец отдал его в частную начальную школу, в которой он проучился до конца 1917. В начале 1918 семья переехала на родину родителей, в деревню. В 1919 отец умер от сыпного тифа, мать вела хозяйство при помощи детей. Борис участвовал почти во всех сельскохозяйственных работах с десяти лет. Зимой 1920—1921 жил и учился в Петрограде. С весны 1921 по лето 1922 учился в г. Галиче Костромской области сначала в школе 1-й ступени, а потом 2-й ступени. Осенью 1924 семья переехала в Ленинград.
В это время в Физико-техническом институте работал старший брат Бориса, Александр Павлович Константинов (1895—1945), позднее ставший одним из крупнейших радиотехников. Он был сотрудником лаборатории Л.С. Термена, занимаясь, в частности, созданием и внедрением системы охранной сигнализации банков и музеев. Свою трудовую деятельность Борис Павлович начал с 14 лет в качестве монтёра этой охранной системы. Одновременно он учился в Трудовой школе, которую окончил в 1926. Учился на физико-механическом факультете Ленинградского политехнического института (1926—1929). Был отчислен с четвертого курса за непролетарское происхождение, но смог продолжить работу в науке благодаря ходатайству А. Ф. Иоффе).
Работал препаратором, лаборантом, старшим лаборантом (1927—1935) в Физико-техническом институте, затем (1935—1937) — в отделе акустики Ленинградского электрофизического института. В 1937—1940 заведовал лабораторией в Научно-исследовательском институте музыкальной промышленности. Занимался исследованиями в области акустики под руководством будущего академика Н.Н. Андреева. С 1940 — снова в ФТИ. В 1941 эвакуирован вместе с институтом в Казань, старший научный сотрудник (1941—1943). С конца 1930-х годов выполнял работы в области акустики для нужд противовоздушной обороны, продолженные в годы войны. По материалам этих работ защитил (1942) кандидатскую диссертацию. В 1943 защитил докторскую диссертацию «О гидродинамическом звукообразовании и распространении звука в ограниченной среде».
Заведующий лабораторией (1943—1957) ФТИ. Профессор, заведующий кафедрой физики в Ленинградском станкоинструментальном институте (1945—1947). Организовал кафедру экспериментальной ядерной физики в Ленинградском политехническом институте (1947) и заведовал ею до 1951. С 1950 — научный руководитель проблемы создания промышленного производства в СССР «нового продукта»: организовал и возглавил Лабораторию исследования физико-химических свойств изотопов, разрабатывавшую технологию получения сырья для термоядерной промышленности (дейтерида лития). Заведовал созданной им кафедрой физики изотопов ЛПИ (1951—1964). Директор (1957—1967) Физико-технического института имени А.Ф. Иоффе, заведующий астрофизическим отделом ФТИ (1963—1969).
Главный редактор журнала «Техническая физика» с 1959. Вице-президент Академии наук СССР (1966—1969), в 1968 возглавил Комитет по ядерной физике АН СССР. Ректор ленинградского университета научных знаний, член редакционного совета Большой советской энциклопедии. Депутат Верховного Совета РСФСР шестого-седьмого созывов (1963—1969).
Умер 9 июля 1969 года. Похоронен на Богословском кладбище в Санкт-Петербурге.
Работы посвящены акустике, физической химии, физике изотопов, физике плазмы и проблеме управляемого термоядерного синтеза, астрофизике, голографии. В ФТИ им. А. Ф. Иоффе основал астрофизическую лабораторию и филиал ядерной физики (впоследствии ПИЯФ).
6 октября 2006 года в городе Кирово-Чепецке, к 60-летию градообразующего предприятия — Кирово-Чепецкого химического комбината, носящего имя Б. П. Константинова, был установлен и открыт памятный бюст.