Петер Людвиг был одним из символов послевоенного возрождения Германии. В 1951 году он возглавил семейный кондитерский бизнес и вскоре сказочно разбогател и прославился. Заработанные средства Петер Людвиг всю свою жизнь тратил на приобретение произведений искусства.
В 1957 году Людвиг начал сотрудничество с кёльнским Музеем Шнютгена и ахенским Музеем Зюрмондта, стал председателем союза музеев Ахена. В 1969 году Людвига избрали в попечительский совет Музея Вальрафа-Рихарца в Кельне, а в 1976 году он стал членом правления этого музея.
В этом же году Петер и Ирена Людвиг подарили городу Кёльну около 300 произведений современного искусства (в том числе русского авангарда), и эта коллекция легла в основу первого музея Людвига.
В 1977 году открылся Музей Зюрмондта-Людвига в Ахене.
В Кёльне по проекту О. Унгерса был построен Музей Людвига.
В последующие годы в Германии появились Институт искусств Людвига в Оберхаузене (1983), Дом искусства Людвига в Саарлуисе (1989), Форум Людвига в Ахене (1991) и Музей Людвига в Кобленце (1992).
В начале 1990-х гг. Ирена и Петер Людвиг подарили часть своей коллекции нескольким восточноевропейским странам.На их базе образовались несколько постоянных экспозиций и музеев. Наиболее известен из них Будапештский музей Людвига. Часть своей коллекции П. Людвиг в 1995 году передал в дар Русскому музею. Таким образом был основан "музей в музее" - Музей Людвига в Русском музее.