В 1755 г. поступил на русскую императорскую службу в качестве клавесиниста, ассистента Винченцо Манфредини. В 1758 г. получил должность придворного композитора и капельмейстера. В этом же году сочинил и поставил оперу «Альцеста» (либретто Александра Сумарокова), которая считается второй в истории оперой на русском языке (после оперы Франческо Арайя «Цефал и Прокрис»).
В 1762—1768 гг. Раупах жил и работал в Париже, где с ним встречался юный Моцарт; для своих ранних клавирных концертов (№ 1 K37, № 2 K39 и № 4 K41) Моцарт использовал темы сонат Раупаха для скрипки и клавесина. Затем Раупах вернулся в Россию и вновь занял пост придворного музыканта. В его позднем творчестве выделяется зингшпиль «Добрые солдаты» (либретто Михаила Хераскова, поставлен в 1780 г.). Учениками Раупаха были Дмитрий Бортнянский и Евстигней Фомин.