В 1797 году приехал в Берлин, поступил в камердинеры к прусскому королю Фридриху Вильгельму II и после его смерти остался в этой должности при Фридрихе-Вильгельме III, который, как и его супруга, королева Луиза, не только не препятствовал художественным занятиям молодого скульптора, но и всячески склонял его к совершенствованию. В 1803 году вылепил бюст королевы Луизы. Для воспроизведения его из мрамора был направлен в Рим, где сблизился со многими выдающимися художниками, в том числе с Торвальдсеном и Кановой.
В 1811 году был вызван обратно в Берлин для участия в конкурсе на надгробный памятник только что умершей королевы Луизы. Представленный им эскиз этого памятника был признан лучшим из всех проектов и в 1812 году Раух вторично отправился в Италию, чтобы заняться исполнением памятника из мрамора. Памятник установлен в 1814 году в построенном для него дорическом мавзолее в Шарлоттенбурге (авторское повторение головы памятника имеется в Эрмитаже). В 1815—1822 годах Раух по заказу короля выполнил мраморные статуи генералов Шарнгорста и Бюлова, они были начаты в Карраре, где Раух исполнил также статую русского императора Александра I.
До 1824 года им исполнено, кроме статуй, около 70 портретных бюстов, в том числе бюсты великого князя Николая Павловича, его супруги Александры Фёдоровны, Гёте.
В 1843 году император Николай I подарил королю Пруссии Фридриху Вильгельму IV две бронзовые группы «Укротителей коней», созданные скульптором П. К. Клодтом для Аничкова моста. В качестве ответного подарка прусский король заказал Рауху изготовление копий двух статуй Победы, созданных им и установленных в парке эрцгерцогского дворца в Шарлоттенбурге в 1839 году и в Берлине на Белле-Аллианс Плаце в 1843 году
В 1849 году Раух сделал надгробный памятник короля Фридриха-Вильгельма III, затем исполнил статуи военачальников Йорка и Гнейзенау, знаменитый ныне памятник Иммануила Канта в Кёнигсберге (открыт в 1864 году), там же мемориал королевы Луизы у кирхи, посвящённой ее памяти, мраморные статуи Веры, Надежды и Любви, принесенные художником в дар его родному городу Арользену, бюст Торвальдсена для музея этого художника в Копенгагене, множество других работ. Но самым значительным созданием Рауха остается исполненный в 1830—1851 годах монумент Фридриху Великому, составляющий одно из главных скульптурных украшений Берлина (архитектор Шинкель) и являющийся подлинным шедевром. В истории немецкого искусства Рауху принадлежит одно из самых видных мест не только как автору этого монумента и многих других замечательных произведений, но и как основателю берлинской школы скульпторов.
Скончался Раух 3 декабря 1857 года в городе Дрездене, где находился на лечении.
Одним из его учеников был Теодор Вильгельм Ахтерманн.