На русской военной службе с 1 ноября 1746 года. В 1747 году получил звание поручика, в 1749 — капитана, в 1755 — секунд-майора. Принял участие в начавшейся в 1756 году Семилетней войне участвовал в битвах под Гросс-Егерсдорфом, Цорндорфом и Франкфуртом, по итогам войны получил звание генерал-майора. В ходе войны получил несколько серьёзных ранений. В 1758 году получил звание подполковника, а в 1759 — полковника. С 1768 года — губернатор Оренбургской губернии. В 1769 году награждён орденом Святой Анны. Руководил подавлением Яицкого казачьего восстания 1772 года, руководил обороной Оренбурга, осаждённого войском Пугачева с 5 октября 1773 года по 23 марта 1774-го. Несмотря на пассивность действий Рейнсдорпа вплоть до снятия осады в марте 1774 года бригадой генерала П. М. Голицына награждён орденом Святого Александра Невского. После подавления Пугачевского восстания оставался на посту оренбургского губернатора до февраля 1781, умер в Оренбурге через год после отставки.
Личность Ивана Андреевича Рейнсдорпа послужила основой образа Андрея Карловича Р. (оренбургского губернатора) для А. С. Пушкина в романе «Капитанская дочка».
Упоминается в поэме С. Есенина «Пугачев»: