Родился в селе Панфилово Иртышского района Павлодарской области Казахской ССР в семье этнических немцев, которые в 1941 году были высланы из Донбасса.
В 1981—1982 — работал юрисконсультом райсельхозуправления Иртышского района Павлодарской области.
В 1982—1984 — проходил службу в Вооружённых Силах СССР, в частях спецназа внутренних войск МВД СССР, дислоцированных в городе Чапаевске Куйбышевской области, в/ч 3434.
1990 — окончил юридический факультет Омского государственного университета по специальности «правоведение» и оставлен как преподаватель юридического факультета Омского государственного университета.
1990-1993 — аспирант юридического факультета Ленинградского университета. Однако, диссертацию Греф так и не защитил.
В 1991 — юрисконсульт Комитета экономического развития и имущества администрации Петродворца, г.Санкт-Петербург. В 1992 — начальник Петродворцового районного агентства Комитета по управлению имуществом администрации г. Санкт-Петербурга. Председатель Комитета по управлению имуществом — заместитель главы администрации Петродворцового района, г. Санкт-Петербург. 1994 — заместитель председателя — директор Департамента недвижимого имущества, первый заместитель председателя Комитета по управлению городским имуществом администрации (КУГИ) г. Санкт-Петербурга.
1997 — вице-губернатор, председатель Комитета по управлению городским имуществом администрации (КУГИ) г. Санкт-Петербурга, член совета директоров ОАО «Ленэнерго».
1998 — член коллегии Министерства государственного имущества Российской Федерации. Первый заместитель Министра государственного имущества Российской Федерации.
1999 — член коллегии Федеральной комиссии по рынку ценных бумаг, руководитель «Центра стратегических разработок».
На состоявшихся 26 марта 2000 года выборах президента России победил Владимир Путин. 7 мая он вступил в должность и 17 мая назначил премьер-министром Михаила Касьянова.
При формировании правительства Касьянова Греф был приглашён на созданную специально для него должность министра экономического развития. 18 мая указом президента Владимира Путина Министерство торговли РФ и Министерство экономики РФ были объединены в Министерство экономического развития и торговли РФ.
Герман Греф был основным лоббистом вхождения России во Всемирную торговую организацию. Также в различное время являлся членом совета директоров многих государственных компаний («Газпром», «Связьинвест» и др.)
24 февраля 2004 года правительство Касьянова было отправлено в отставку. Греф также вышел в отставку с поста министра.
Новым премьер-министром президент Путин назначил Михаила Фрадкова. В начале марта было сформировано новое правительство, где Герман Оскарович снова возглавил Министерство экономического развития и торговли РФ. 14 марта состоялись президентские выборы, на которых был переизбран Владимир Путин. 7 мая, посуществовав лишь два месяца, это правительство сложило свои полномочия перед вновь избранным президентом РФ.
Михаил Фрадков сохранил должность премьер-министра и в мае было создано второе правительство Фрадкова, где Герман Греф продолжил работу в качестве министра экономического развития и торговли.
12 сентября 2007 года на встрече с президентом России премьер-министр Фрадков обратился к Владимиру Путину с просьбой об отставке правительства, мотивируя её следующим образом: «Понимая, вот, происходящие политические процессы сегодня, я бы хотел, чтобы у вас была полная свобода в выборе решений, включая кадровые. И, я думаю, что правильно было бы, с моей стороны, выйти с инициативой освободить должность Председателя правительства для того, чтобы у вас не было никаких ограничений в принятии решений и устраивания, вот, властной конфигурации, в связи с предстоящими политическими событиями.» Президент принял отставку правительства и поблагодарил Фрадкова за достигнутые результаты в работе. Путин отметил такие достижения Правительства, как хорошие темпы роста экономики, снижение инфляции, рост реальных доходов населения, начало осуществления крупных социальных проектов.
После отставки правительства Фрадкова в новый кабинет министров Греф уже не вошёл.
Вместо этого Греф был избран председателем правления Сбербанка России. Прежний глава банка, Андрей Казьмин, был переведен на работу в Почту России, что вызвало недовольство ведущих менеджеров банка, проголосовавших против Грефа.
С октября 2007 года по настоящее время — Председатель правления Сбербанка России. Четырехлетний контракт Грефа на должности президента — председателя правления Сбербанка истекает в ноябре 2011 года.
В октябре 2011 года Герман Греф был отмечен журналом «Forbes» как один из 9-ти самых необычных российских бизнесменов — сумасбродов, чудаков и эксцентриков.
Герман Греф женат во второй раз. Его супруга Яна — дизайнер. Их бракосочетание было проведено в тронном зале заповедника «Петергоф». В 2006 году у Грефа родилась дочь.
Сын Грефа от первого брака, Олег, в 2004 году окончил Московский государственный университет, является вице-президентом аккредитованной при Сбербанке консалтинговой компании «НЭО центр». Старший брат Евгений Греф — бизнесмен из Омска, совладелец сетей магазинов «Технософия», «Сибирь-керамика», торговых центров «Геомарт» и «Летур», в 2008 г. получил кредитную линию Сбербанка на сумму 500 млн руб. Старшая сестра Грефа, Елена, закончила пединститут, вышла замуж и проживает в Находке.
Является билингвом, с ранних лет одинаково владея русским и немецким языками, любит Гёте и немецких экспрессионистов.