Директор Института истории в Ленинграде (с 1936) и в Москве (с 1938). С 1943 по 1947 год по совместительству — директор Института истории материальной культуры. С 1947 по 1953 год по совместительству — директор Института славяноведения. С 1946 по 1953 год — академик-секретарь Отделения истории и философии АН СССР.
Депутат Ленсовета XI созыва (1927—1928), Верховного Совета РСФСР II созыва (1947—1950) и Верховного Совета СССР III созыва (1950—1953). Участник Движения сторонников мира.
Родился в семье мелкого чиновника. Позже вместе с семьёй переехал жить в Холм (ныне — Хелм), а затем в Грубешов (ныне оба находятся в составе Польши), где получал среднее образование в прогимназиях. Из-за письма, отправленного из Грубешова студенту-медику Московского университета И. А. Будиловичу, в котором Греков заявлял о своём стремлении «принять участие в социально-демократическом движении», и попавшего в руки Департамента полиции, Греков был исключён из гимназии на последнем году обучения и был вынужден заканчивать среднее образование в радомской гимназии.
В 1901 году он поступил в Варшавский университет, где познакомился с известным историком Д. М. Петрушевским, который оказал значительное влияние на становление Грекова как историка. Спустя четыре года с рекомендациями Петрушевского перевелся в Московский университет, где его научным руководителем был назначен А. А. Кизеветтер. Однако в связи с избранием в Государственную Думу тот передал свои дела М. К. Любавскому, под руководством которого Греков и закончил Московский университет.
После университета Греков был назначен в Женскую гимназию города Холм. Проработав некоторое время, он уволился оттуда и уехал в Санкт-Петербург. Здесь он устроился в гимназию Гуревича, Императорское Коммерческое училище и Екатерининское училище. В Санкт-Петербургском университете под руководством С. Ф. Платонова учился в магистратуре. Занимался в семинарии у А. С. Лаппо-Данилевского (дипломатика частных актов). В 1910—1913 гг. работал директором библиотеки Шереметевых в селе Михайловском (Подольский уезд Московской губернии).
В 1911 году делегатом от Высших женских курсов участвовал в XV Археологическом съезде в Новгороде. В 1913 г. Греков был избран в сотрудники Императорской Археографической комиссии. В том же году избран членом Новгородского общества любителей древностей. В 1913—1915 гг. по заданию комиссии провёл осмотр и описание архива Большого Тихвинского монастыря. В 1916—1917 гг. также по заданию комиссии провёл осмотр и описание и вывез в Пермь архив Соловецкого монастыря.
7 декабря 1914 года в Петроградском университете защитил магистерскую диссертацию по теме «Новгородский дом святой Софии (Опыт организации и внутренних отношений крупной церковной вотчины)» и стал профессором Петербургского университета, где к этому времени несколько лет преподавал в должности приват-доцента. Во время Первой мировой войны Борис Дмитриевич был командирован в Пермь, где открылось отделение Петербургского университета. В 1918 году Греков получил отпуск для работы над докторской диссертацией, уехал в Крым, где стал профессором Таврического университета в Симферополе. В 1921 году учёный вернулся в Петроградский университет, где совмещал преподавательскую работу с работой в Академии наук и Центральном историческом архиве. В этом же году избран в члены Археографической комиссии.
В 1930 году был арестован по «Академическому делу». Хотя факт ареста учёного и стоит в одном ряду гонений на представителей академической науки, непосредственным поводом для ареста стали ложные обвинения в том, что Греков, находясь в Крыму в 1918—1920 гг., служил в армии Врангеля. В действительности в армии Врангеля Греков не служил (как и не служил в армии вообще), но был среди профессуры Таврического университета, приветствующей Врангеля после его вступления в Крым. Эти факты получили широкую огласку в 1930-х гг., что вынудило Грекова в дальнейшем пойти на большие уступки во время «сталинских чисток» и, по словам А. Х. Плахонина, заставило писать «знания для режима на заказ». Благодаря поручительству С. Г. Томсинского, директора Историко-археографического института, в котором те годы работал Греков, учёный был освобождён, проведя в заключении один месяц и три дня.
В 1930-е годы Греков начал изучать историю Киевской Руси, став известным оппонентом украинского историка М. С. Грушевского, который присваивал наследие Киевской Руси по большому счету только современной Украине. Наиболее известной монографией Грекова является книга «Киевская Русь» (1939), она была одной из трех его работ, получивших Сталинскую премию. В этом труде, проникнутом идеологией марксизма-ленинизма и сталинизма, Греков делал упор на большей значимости сельскохозяйственной деятельности в данном государственном строе, нежели важности коммерческих отношений. Именно он первым доказал существование феодальной формации в Киевской Руси и разделил историческое наследие Киевской Руси между Россией, Украиной и Белоруссией.
Всесторонние исследования Киевской Руси раскрывали суть экономического и культурного развития государства в период татарского гнета. Свои изыскания он собрал в работах под названием «Культура Киевской Руси» (1944) и «Российские крестьяне с древнейших времен до XVII века» (1946). Его самая актуальная в последующее время работа (переиздания которой выпускаются до сих пор) называлась «Золотая Орда», написанная в сотрудничестве с А. Ю. Якубовским и впервые опубликованная в 1937 году. Второе (классическое) издание появилось в 1950 году под названием «Золотая Орда и ее падение».
Греков уделял большое внимание сбору и публикации множества первоисточников, в особенности, исторических хроник.