Окончил Первую киевскую гимназию и юридический факультет Киевского университета (1845). Магистр государственного права (1847, тема диссертации: «Исследование начал торгового законодательства Петра Великого»). Доктор политических наук (1850, тема диссертации: «Теория кредита»).
Был сторонником умеренного либерализма, частной собственности и свободы предпринимательства (признавая при этом необходимость ограниченного государственного вмешательства в экономику), критиком социалистических и коммунистических учений. Прекрасный знаток западных экономических концепций.
Полагал социализм «злом, от которого гибнут нравственность, долг, свобода, личность». Причину популярности социалистических идей видел в том, что их автор «обращается к хищническим инстинктам обездоленного человечества».
В экономических взглядах был сторонником Адама Смита, затем увлекся немецкой экономической школой. В политике придерживался воззрений, сходных с позицией Джона Стюарта Милля.
Одним из первых его мероприятий на посту министра финансов явилось понижение выкупных платежей, которое он считал необходимым для улучшения благосостояния крестьян — тем более, что с них взыскивалось больше, нежели уплачивалось по обязательствам выкупной операции. Общая сумма понижения составила до 12 миллионов рублей в год.
Кроме того, при нём были отменены подушная подать и соляной акциз. Для компенсации выпадающих доходов были повышены налоги — на спирт, сахар, табак, а также гербовый сбор и ряд других; увеличены таможенные пошлины на ввозимые товары. Старался снизить расходы, однако сбалансировать бюджет ему не удалось. Был сторонником введения подоходного налога.
Учредил институт податных инспекторов. Будучи в теории приверженцем экономического либерализма, был вынужден на практике проводить протекционистскую политику в условиях кризиса, вызванного последствиями резкого роста военных расходов в период русско-турецкой войны 1877—1878.
При Бунге в России началась подготовка денежной реформы: с осени 1884 в Государственном банке приступили к накоплению золота из поступлений в уплату таможенных пошлин и за счет внешних займов.
Считал, что многие проблемы российского крестьянства связаны с недостаточным размером их земельных наделов и невозможностью получить долгосрочный кредит для покупки новых земель. Для решения этого вопроса при нём был создан Крестьянский поземельный банк. Был противником искусственной консервации сельской общины, предлагал отменить круговую поруку в деревне (Государственный совет не согласился с этой инициативой). Также в его бытность министром финансов был открыт Дворянский земельный банк, причём Бунге считал, что он должен был выдавать ссуды лишь тем дворянам-землевладельцам, которые сами ведут хозяйство на своей земле (однако Государственный совет снял это ограничение).
При нём велась работа по изданию фабричного (трудового) законодательства. В 1884 вступил в силу закон, запрещающий труд малолетних на фабриках и регламентирующий продолжительность труда детей и подростков от 12 до 15 лет, которая была ограничена восемью часами (это привело к существенному сокращению числа малолетних рабочих). В 1885 были запрещены ночные работы для подростков в возрасте до 17 лет и женщин на текстильных фабриках. В 1886 были изданы «Правила о надзоре за заведениями фабричной промышленности», в которых ограничивался произвол работодателей в отношении работников (запрещалось расплачиваться с рабочими купонами или в натуральной форме, производить вычеты за долги, регламентировались штрафы и др.), а также усиливались репрессивные меры за участие в стачках и подстрекательство к ним, угрозы в адрес администрации и отказ от работы. За исполнением трудового законодательства следила специально учреждённая в 1882 фабричная инспекция.
Деятельность Бунге подвергалась резкой критике со стороны правых сил (их рупором была газета «Московские Ведомости»). Его обвиняли в «непонимании условий русской жизни, доктринёрстве, увлечении тлетворными западноевропейскими теориями». Эти обвинения способствовали его отставке с поста министра финансов и назначению на почётный, но лишённый реального влияния пост председателя Комитета министров.
Незадолго до смерти написал политическое завещание, адресовав его императору (оно получило название «Загробные заметки»). В этом документе, подготовленном с умеренно-реформаторских позиций, говорилось о перспективах экономических преобразований в стране, государственном управлении, народном образовании, налогообложении, крестьянском и рабочем законодательстве, национальном вопросе. Был противником крайностей великодержавной политики российской монархии. Отверг аргументы сторонников общины, утверждающих, что она спасает крестьянство от обезземеливания и кулацкой эксплуатации. «Хотя для каждого мыслящего человека должно быть ясным, — писал он, — что и при общинном владении возможно также кулачество, спаивание мира, обирание бедных богатыми и, наоборот, разорение достаточного населения мироедами и гнет мира; хотя обезземеление не есть последствие частной собственности, а, как все признают, — возрастания населения». Критиковал правительство за недостаток внимания к переселенческому вопросу. Позднее некоторые идеи Бунге были реализованы в ходе реформ П. А. Столыпина.