Академик АН СССР (1929), вице-президент Академии наук СССР (1936), председатель Азербайджанского филиала АН (1937). Лауреат премии имени В. И. Ленина (1929). Член РКП(б) с 1921 года. Депутат Верховного Совета СССР 1-го созыва (1937). Активный участник решения вопросов индустриального развития Урала, Сибири, Дальнего Востока, Закавказья.
Родился в селе Поздняково Муромского уезда в семье крестьянина-середняка, занимавшегося рыбным промыслом на Волге.
Учился в сельской приходской школе, Муромском уездном училище. Окончил Киржачскую учительскую семинарию (1890). Работал сельским учителем в Муромском уезде.
Окончил Петербургский учительский институт (1895—1898). Работал преподавателем городского училища в Петербурге. Окончил Петербургский горный институт (1903—1910). Работал в Майкопском и Грозненском районах. В 1917—1918 гг. был в научной командировке в США.
В 1918 по предложению В. И. Ленина вошёл в состав Главного нефтяного комитета, а с 1919 г. являлся руководителем Главсланца. В 1920—1925 председатель Особой комиссии по изучению Курской магнитной аномалии. С 1920 профессор, с 1922 ректор Московской горной академии, с 1930 ректор, заведующий кафедрой геологии и нефтяных месторождений Московского нефтяного института.
Председатель (1930—1936) Совета по изучению производительных сил АН СССР.
С 1931 начальник Государственного геологоразведочного управления ВСНХ. В труде «Учение о нефти» (1932) разработал основы теории происхождения нефти, условия формирования её залежей и др. Обосновал возможность создания «Второго Баку».
И. М. Губкин любил повторять: «Недра не подведут, если не подведут люди».