Поступил на военную службу в 1700 году прапорщиком в полк своего дяди, генерал-лейтенанта Детлофа фон Шверин, в роту, которой командовал его брат, старший лейтенант Бернд Детлоф фон Шверин. В 1701 году полк Шверина принял участие в Войне за испанское наследство на территории Нидерландов. Боевое крещение в сражениях при Шелленберге и Хёхштэдте.
С 1703 до 1708 года проделывает карьеру от лейтенанта до полковника в армии герцога Мекленбург-Шверин. Участвует в ряде сражений Войны за испанское наследство, а, также, вместе со шведами, в Великой Северной войне. В 1711 году послан к шведскому королю, Карлу XII, с тайной миссией, в 1713 году попадает под Бендерами в русский плен.
Перейдя на службу в Швеции, становится в 1718 году шведским генерал-майором. Отличается во время Великой северной войны, разбив ганноверские войска 6 марта 1719 года в бою при Вальсмюлене в Мекленбурге.
В связи с тем, что большая часть родовых имений отошла к Пруссии, переходит в 1720 году на прусскую службу. С 1722 года — владелец 24 пехотного полка, ставшего позднее элитной частью прусской армии. С 1731 года — генерал-лейтенант, в 1739 году — генерал от инфантерии.
Разносторонне образованный, интересующийся науками и искусством, любитель пожить, генерал стоял особняком в армии «солдатского короля» Фридриха Вильгельма I, отца Фридриха II и, тем не менее, пользовался его неизменным доверием. Король ценил его способности в качестве советника, доверял Шверину дипломатические миссии, которые не мог перепоручить своим неотёсанным генералам. Начатая при отце, карьера Шверина также успешно продолжилась при наследнике: в июне 1740 года Фридрих II делает Шверина генерал-фельдмаршалом, месяц спустя жалует ему титул графа.
В Первой Силезской войне Шверин отличается при Мольвице: командуя армией, после того, как Фридрих оставил поле сражения, он доводит битву до победы.
В промежутках между Силезскими войнами — комендант крепостей Бриг и Нейссе.
Во Второй Силезской войне ему принадлежит решающий вклад во взятии Праги 16 сентября 1744 года.
13 лет спустя, Шверин, один из авторов плана вторжения в Богемию весной 1757 года, найдёт под Прагой свою смерть. Пав со знаменем в руках, пытаясь вдохновить своих солдат на атаку, он умрёт «образцовой смертью прусского генерала», ставшей позднее частью легенды о Фридрихе и его времени. Во время самого сражения, геройство Шверина приводит, однако, скорее, к негативным последствиям: смерть военачальника обращает прусскую пехоту в паническое бегство.