После переселения в Германию, Грюнберг проживал со своими родителями в городе Лаутербах в федеральной земле Гессен. В 1959 г. он сдал экзамены на допуск в университет (Abitur). Начиная с 1962 г. он обучался в университете города Франкфурт-на-Майне и в техническом университете Дармштадта. С 1966 по 1969 гг. Грюнберг проходил аспирантуру у профессора Штефана Гюфнера по теме «Спектроскопические исследования некоторых редкоземельных гранатов». После защиты диссертации в 1969 г. получил степень доктора философии. Затем он провёл три года в Карлтонском университете в Оттаве. С 1972 года работал научным сотрудником в исследовательском центре Юлиха. Защитил докторскую диссертацию в университете Кёльна, где он с 1984 г. работал приват-доцентом, а с 1992 г. профессором. С момента выхода на пенсию в 2004 г. Грюнберг работает в качестве приглашённого учёного в исследовательском центре Юлиха в институте исследования твёрдого тела, отделении электронных свойств.
Грюнберг был одним из первых, кто занялся исследованием магнитных свойств тонких плёнок. Эта область исследований изучает спиновые свойства материалов и называется спинтроникой. Результаты исследований позволили создать новые, уменьшенные электронные устройства. В 1986 г. Грюнберг открыл анти-ферромагнитную взаимосвязь в слоях железа и хрома. В конце 1987 г. Грюнберг открыл, почти одновременно с Альбером Фером, эффект гигантского магнетосопротивления, при помощи которого в конце 1990-х годов удалось резко увеличить ёмкость накопителей на жёстких магнитных дисках. Принцип действия большинства головок записи/считывания информации по состоянию на 2007 год основывался на этом эффекте. Плата за лицензии на использование патентов (начиная с патента DE 3.820.475 «сенсоры магнитного поля с тонким ферромагнитным слоем» дата заявки 16.06.1988) поступает на счёт института в Юлихе и составляет двузначные миллионные суммы.