Родился в семье московского купца второй гильдии, владельца нескольких гастрономических магазинов и доходных домов Алексея Петровича Богданова.
Жена (с 1908) — Александра (Ася) Клементьевна, урождённая Азарникова. В 1938 была арестована, отбывала заключение в Карлаге, во второй половине 1950-х годов смогла вернуться в Москву, где скончалась в 1960.
Сыновья — Георгий и Алексей, инженеры-механики, авторы биографии своего отца «Долг памяти» (М., 1990). Дочь — Ксения.
Окончил Александровское коммерческое училище (1899; с золотой медалью), Императорское Московское техническое училище (1909), инженер-механик. Предложение оставить его при одной из кафедр училища совет химического факультета отклонил «из соображений политического характера»). В совершенстве владел английским, немецким и французским языками,
Принимал активное участие в студенческом движении. С 1901 — член исполнительного комитета студенческих землячеств, был казначеем студенческой кассы, хранил дома гектограф, на котором печатались революционные прокламации. В 1902 был арестован, приговорён к шести месяцам тюремного заключения. Вернувшись в училище, продолжил революционную деятельность. С 1905 — член Союзного совета московских высших учебных заведений. В июле 1905 вступил в Российскую социал-демократическую рабочую партию (РСДРП), примкнул к её большевистской части. В 1905 участвовал в нелегальном Всероссийском съезде студенческих организаций в Финляндии.
Осенью 1905 был призван на военную службу, которую проходил в чине кондуктора (унтер-офицера) в воронежской инженерной дистанции (воинском подразделении на железнодорожном транспорте). Одновременно продолжал революционную работу, был членом Воронежского комитета РСДРП, возглавлял его военную организацию.
В 1906—1908 работал в Московской военной организации, был членом Московского комитета партии, руководил социал-демократическими студенческими организациями Москвы.
С 1909 работал в инженерном участке отдела благоустройства Москвы. Руководил работами по заключению в трубы притоков рек Яузы и Неглинной, участвовал в строительстве кирпичного арочного моста через Яузу в селе Богородском и др. Занимался вопросами испытания материалов (условиями применения различных гранитов для мощения улиц).
С 1910 — заведующий московской городской газовой сетью. Провёл её реорганизацию, ориентируясь на передовой технический опыт. Автор работы «Некоторые данные о повреждении труб Московской городской газовой сети и данные о применении стальных раструбных труб».
В этот период продолжал участвовать в деятельности РСДРП, в феврале-марте 1911 находился под арестом. По сведениям начальника Московского охранного отделения полковника Заварзина (от февраля 1911), Богданов «пользуется в партийной среде исключительным влиянием серьёзного и обладающего большими обширными связями интеллигентного работника».
С началом Первой мировой войны, в конце 1914 был призван в армию. Недолго служил переводчиком в московском военном госпитале для военнопленных. Подал рапорт о направлении на фронт, и с февраля 1915 служил во втором Сибирском железнодорожном батальоне под Перемышлем. В октябре 1915 был произведён в прапорщики. Занимался восстановлением мостов, в 1916 был командирован в Москву, где прочитал в Политехническом обществе доклад на тему: «Проблемы восстановления разрушенных мостов (из опыта работ 1915—1916 гг.)». С июня 1916 — помощник начальника материальной части Третьего коренного парка полевых конных железных дорог Западного фронта в Гомеле, в 1917 — помощник начальника мастерски этого парка.
После Февральской революции 1917 возобновил активную политическую деятельность. Был избран председателем военной секции Гомельского совета, членом президиума исполкома совета, председателем городской думы и председателем Комитета революционной охраны. Во время выступления генерала Л. Г. Корнилова в августе 1917 организовал перекрытие сообщения между Ставкой в Могилёве и Доном, в результате чего были арестованы сторонники Корнилова направлявшиеся к атаману Войска Донского генералу А. М. Каледину. Поддержал приход к власти большевиков, в ноябре 1917 стал председателем гомельского ревкома. После роспуска городской думы и ревкома работал в гомельских профсоюзах. Весной 1918 был выслан немецкими оккупационными войсками на территорию РСФСР.
С 1918 уполномоченный ВСНХ по национализации химической промышленности Урала и Севера, назначен на этот пост по предложению своего друга по техническому училищу, инженера Л. Я. Карпова, возглавлявшего Отдел химической промышленности ВСНХ. В 1918—1921 член коллегии Отдела химической промышленности ВСНХ. С 1919 — член правления национализированных цементных заводов.
В 1919-1925 возглавлял Совет (Главное управление) военной промышленности ВСНХ. В 1919 был председателем конкурсной комиссии, рассматривавшей проекты первого советского танка и двигателя для него. В условиях гражданской войны внедрял принцип плановой производственной кооперации между военными заводами, которая привела к выпуску в 1920 в Сормове первого танка советского производства. С 1920 — председатель коллегии Отдела металла ВСНХ.
В 1921—1925 председатель ВСНХ РСФСР. Курировал первые крупные советские стройки — сооружение Каширской и Волховской электростанций. Был одним из активных проводников Новой экономической политики (НЭП). Поощрял создание трестов как пользующихся широкой хозяйственной автономией государственных объединений предприятий, свободно действующих на рынке и оптимально использующих все факторы производства. Защищал трестовскую форму организации производства от сторонников «главкизма», выступавших за усиление централизованного администрирования. Выступал против грубого административного вмешательства в экономические процессы. Считал, что
Входил в состав созданной Советом труда и обороны комиссии для пересмотра декретов, систематизации и развития законодательства в соответствии с курсом НЭПа в области промышленного строительства и торгового оборота. Руководил процессом частичной передаче частному капиталу средних и мелких предприятий. Под его руководством Президиум ВСНХ разработал и издал специальную инструкцию о порядке сдачи в аренду государственных предприятий, как правило, бездействующих либо слабодействующих. В одной из своих работ писал, что
С 1921 в качестве председателя Концессионного комитета занимался вопросами заключения концессионных соглашений иностранными фирмами. Полагал, что
Опубликовал большое количество статей на экономические темы. В конце 1925 был направлен в трёхмесячную заграничную командировку для изучения промышленного дела на предприятиях Германии, Франции, Англии. После возвращения из-за границы в 1926 был переведён из Москвы на Северный Кавказ.
Значительное внимание уделял привлечению к работе представителей интеллигенции и улучшения условий их труда и быта. Весной 1921 предложил комплекс мер, направленных на защиту интересов инженерно-технического персонала:
На основании предложений Богданова в августе 1921 было издано постановление «О мерах к поднятию уровня инженерно-технического знания в стране и к улучшению условий жизни инженерно-технических работников РСФСР», подписанное В. И. Лениным.
Неоднократно ходатайствовал об освобождении из-под ареста представителей интеллигенции, беря их под своё поручительство. Как правило, речь шла об инженерах (например, в июне 1921 просил об освобождении «ценного незаменимого работника» в области металлической промышленности М. А. Александрова, в декабре того же года обратился в ВЧК с просьбой передать ему на поруки инженера Гезенцвейга и др.), но были и иные случаи. Так, в октябре 1921 Богданов поручился за бывшего директора феодосийской гимназии А. П. Кучинского, мотивировав это необходимостью его участия в организации библиотеки при ВСНХ.
В 1926—1929 — председатель Северо-Кавказского крайисполкома. Добился выделения в 1927 ассигнований на начало работ по строительству канала Волга-Дон, которые после этого были немедленно начаты. Был одним из инициаторов строительства «Ростсельмаша», при его активном участии Совнарком РСФСР утвердил выделение кредита на реконструкцию пришедших в аварийное состояние водопровода и канализации Ростова-на-Дону.
В 1930—1934 возглавлял акционерное общество «Амторг» (советскую торговую организацию в США). Установил связи с деловыми кругами США, занимался лекционной деятельностью, изучал американский управленческий опыт. Деятельность Богданова способствовала установлению дипломатических отношений между СССР и США в 1933.
После возвращения из США, по воспоминаниям сыновей, жил «с ощущением неумолимости приближения карающей дубины. И всё же … он до самого конца старался быть деятельным и честным». В 1935—1937 — первый заместитель наркома местной промышленности РСФСР. Продолжал публиковать статьи по экономическим вопросам. В одной из статей в «Правде», анализируя американский опыт, писал:
В 1937 был обвинён в хранении склада оружия (под которым подразумевались три подарка оружейников — охотничье ружьё, карабин и автоматическая винтовка), снят с работы и исключён из партии. Недолго работал заместителем директора Института игрушек в Загорске.
22 ноября 1937 был арестован. По воспоминаниям его сокамерника Бориса Лесняка, Богданов («сухонький, подобранный, ещё достаточно бодрый человек в хорошо сшитом костюме из дорогого трико (на брюках еще сохранялась складка)») в камере «держался замкнуто, отстранённо, сдержанно» и был сломлен в ходе допросов. 15 марта 1938 был приговорён Военной коллегией Верховного суда СССР к тюремному заключению. Отправлен в лагерь, откуда был этапирован в Москву для пересмотра дела, приговорён к высшей мере наказания и расстрелян.