Родился в дворянской семье. Учился в Первом кадетском корпусе (окончил в 1838 году). Служил в конной артиллерии; в 1848 году переехал в Петербург, но до 1866 года продолжал служить в артиллерии (вне строя), занимаясь в то же время преподаванием. В 1866 году поступил в военно-юридическую академию и по окончании курса в 1869 году в чине подполковника был назначен военным судьёй Киевского Военно-Окружного Суда, а в феврале 1870 года был переведён на ту же должность в Петербургский военный округ. В апреле 1872 года Розенгейм был произведен в полковники и в 1878 году издал историческую монографию: «Очерк истории военно-судных учреждений в России до кончины Петра Великого». 15 мая 1883 года Розенгейм был произведён в генерал-майоры. Похоронен в Петербурге на Никольском кладбище Александро-Невской лавры.
Писать начал ещё в кадетском корпусе; уже в 1837 году несколько его стихотворений было напечатано Н. А. Полевым в «Сыне Отечества». Будучи человеком очень скромным, Розенгейм не придавал значения своим писаниям и не посылал их в редакции. Только во второй половине 1850-х годов стихи его начинают появляться довольно часто в «Отечественных записках», «Русском Вестнике» и других изданиях.
В 1858 году вышло первое собрание стихотворений Розенгейма, доставившее ему литературную известность, хотя в этой известности было гораздо больше терний, чем роз. С конца 1859 года он писал юмористические фельетоны в «Отечественных записках» («Заметки праздношатающегося») и в «Санкт-Петербургских ведомостях». В 1860 году был редактором «Журнала коннозаводства и охоты», в 1863—1865 гг. издавал сатирический еженедельный журнал «Заноза», имевшую большой успех и до 5 тысяч подписчиков, но павшую в борьбе с цензурными препятствиями.
В 1864 г. стихотворения Розенгейма вышли вторым изданием, в 1883 г. — третьим; посмертное 4-е издание вышло в 1889 г. (с биографическим очерком). В последние 20 лет жизни Розенгейм только изредка выступал со стихами, но довольно деятельно работал как публицист в «Голосе» 1860-х годов, в «Русской речи» конца 1870-х гг. (вёл «внутреннее обозрение») и других изданиях. В 1878 издал монографию, основанную на архивных данных, «Очерк истории военно-судных учреждений в России до кончины Петра Великого».
Литературная память о Розенгейме главным образом держится на рецензии, которую посвятил 1-му изданию его стихотворений Н. А. Добролюбов. Для критика «Современника» Розенгейм был ярким олицетворением той дешёвой «смелости» и «прогрессивности», которая обуяла в эпоху реформ и либерализации режима после крымской кампании даже людей, по существу ничего общего с действительно серьёзными общественными стремлениями не имевшими. Добролюбов смеялся над «гражданским» пафосом, с которым Розенгейм ставил «смелые» тезисы вроде следующих: не надо брать взяток, надо говорить всегда правду, служить «честно» и т. д. И действительно, когда кончилась мода на прогрессивность, Розенгейм всецело перешёл в лагерь банального патриотизма. Столь же неодобрительно, как и Добролюбов, отнеслись к Розенгейму и критики-эстетики, например Дружинин. По оценке Энциклопедического словаря Брокгауза и Ефрона, «главный недостаток Розенгейма — крайняя неровность и невыдержанность, временами даже неряшливость фактуры, расплывчатость и отсутствие какой бы то ни было определённой мысли и настроения; иногда трудно распознать, против кого и против чего воюет этот неудачный представитель „обличительной“ и „гражданской“ поэзии. Чисто художественных достоинств — образности, меткости, колоритности — у Розенгейма совсем нет».
Добролюбов «воевал» против Розенгейма не только критикой, но и пародиями в журнале «Свисток», создав маску «обличительного поэта» Конрада Лилиеншвагера (травестия фамилии Розенгейма: вместо Rosen 'розы' + Heim 'дом' [видимо, понятое Добролюбовым как Oheim 'дядя'] Lilien 'лилии' + Schwager 'свёкор').
Отсутствие собственной творческой манеры привело к тому, что стихи Розенгейма нередко приписывались (в том числе в авторитетных изданиях) Лермонтову, Некрасову и другим более крупным авторам.