Сын стольника Михаила Андреевича Голицына и Прасковьи Никитичны, урождённой Кафтырёвой, старший брат Михаила Старшего, Петра и Михаила Младшего Голицыных.
В 1686 году стал комнатным стольником царя Петра Алексеевича. В 1694—1697 годы служил в Преображенском полку в должности капитана, затем изучал военные науки в Италии, в 1701—1704 годы был послом в Константинополе и был заключён в Семибашенной крепости, позже принимал участие в боевых действиях Северной войны.
В 1707—18 годах был воеводой (затем губернатором) в Киеве, где, по отзывам современников, отличался честностью и неподкупностью. С 1718 года был главой Камер-коллегии и членом Сената, заведовал финансовыми вопросами. Пользовался большим доверием Петра I, который часто обращался к нему с разными просьбами (например, о переводе тех или иных книг). Тем не менее, в 1723 году Голицын был арестован по делу Шафирова, однако помилован по ходатайству императрицы.
После смерти Петра I Голицын поддерживал партию сторонников правления его внука Петра II Алексеевича, однако согласился на воцарение Екатерины I в обмен на место в Верховном тайном совете. При Петре II был назначен главой Коммерц-коллегии, отменил ряд государственных монополий и снизил таможенные тарифы. Тогда же ввёл в Верховный тайный совет своего брата Михаила, ставшего главой Военной коллегии.
В 1730 году предложил пригласить на престол курляндскую герцогиню Анну Иоанновну, ограничив её власть «кондициями» (которые фактически сводили её роль к представительским функциям). Позже разработал проект конституции, согласно которому абсолютная монархия в России упразднялась навсегда, и страна превращалась в дворянскую республику. Эти идеи вызвали неприятие у части российского дворянства и некоторых членов Верховного тайного совета, который был распущен после того, как Анна разорвала «кондиции».
Несмотря на то что Голицын возглавлял «конституционную» партию, после упразднения Верховного тайного совета он, в отличие от Долгоруких, не был сослан. Возможно, сыграло роль то, что инициатива призвания Анны Иоанновны на престол исходила от него. Сохраняя звание сенатора, он жил в подмосковном имении Архангельском, где собрал богатейшую коллекцию (около 6 тысяч томов) европейской литературы.
Вскоре, однако, репрессии коснулись его зятя, за заступничество которому семидесятилетний князь в 1736 году был арестован, обвинён в подготовке заговора и брошен в Шлиссельбургскую крепость, где вскоре умер (или был убит).
Князь Дмитрий Михайлович Голицын был женат с 1684 на княжне Анне Яковлевне (?-1750), дочери князя Якова Никитича Одоевского.
В браке родились: