1 апреля 1906 года поступил в Кайзерлихмарине кадетом. Окончил военно-морское училище в 1908 году.
30 сентября 1909 года произведен в лейтенанты ВМФ. Служил на кораблях различных типов.
Участник Первой мировой войны, в августе — сентябре 1914 года командир заградителя «Виадра», с 8 ноября 1914 года вахтенный офицер линейного корабля «Кронпринц».
30 июня 1916 года окончил школу командиров подводных лодок. С 26 ноября 1916 года командовал подлодкой UC-74, с 30 декабря 1917 по 12 сентября 1918 года — UB-105, принял участие в неограниченной подводной войне против торгового флота союзников. 13 января 1917 года получил звание капитан-лейтенанта.
За боевые отличия награжден Железным крестом 1-го и 2-го класса и орденом Pour le Merite — 4 июля 1918года.
После демобилизации армии оставлен на флоте. С 10 июля 1921 года — 1-й офицер гидрографического судна «Пантера». 13 марта 1922 года переведен в штаб военно-морской станции «Остзее». С 1 октября 1924 года командир «Пантеры».
16 декабря 1926 года переведен в Морское управление Морского руководства.
С 8 сентября 1929 года 1-й офицер линейного корабля «Шлезвиг-Гольштейн», с 25 февраля 1930 года — «Ганновер».
С 26 сентября 1931 года — начальник штаба военно-морской станции «Остзее».
С 25 сентября 1934 года — командир линейного корабля «Гессен», а с 12 ноября 1934 года новейшего броненосца «Адмирал Шеер».
С 22 сентября 1936 года начальник Оперативного отдела Командного управления ОКМ.
8 октября 1937 года Маршалл назначен командующим германскими ВМС в Испании.
С 9 февраля 1938 года — командующий броненосными силами флота.
С 21 октября 1939 года — командующий надводным флотом. Считался крупнейшим авторитетом в области тактики крейсерских операций, проявил себя самостоятельным командиром.
В ноябре 1939 года вывел «Шарнхорст» и «Гнейзенау» в Северное море, имея целью прикрыть возвращение линейного корабля «Дойчланд» после рейда в Атлантику. Маневр удался, и «Дойчланд» без происшествий вернулся на базу. При этом он уклонился от боя с превосходящими силами английского флота. После этого случая у Маршалла испортились отношения с Эрихом Редером.
Руководил германским флотом во время захвата Норвегии. Одержал крупную победу в бою с кораблями английского конвоя близ Нарвика 8 июня 1940 года, потопив авианосец «Глориес» и два эсминца сопровождения. Однако после кампании Редер вновь стал обвинять Маршалла в неисполнении приказов ОКМ, и 18 июня 1940 года заменил последнего адмиралом Гюнтером Лютьенсом.
С 26 августа 1940 года инспектор военно-морских учебных заведений. С конца 1941 выполнял особые поручения в группах ВМС «Юг» и «Восток».
В апреле — мае 1942 года начальник военно-морской станции «Остзее». С 12 августа 1942 года Маршаллу были подчинены ВМС, базировавшиеся на территории Франции. А в конце сентября он поставлен во главе командования ВМС «Запад» (штаб — Париж) и одновременно командующий адмирал во Франции.
19 апреля 1943 года заменен адмиралом Теодором Кранке, а 30 июня 1943 года вновь уволен в отставку.
Затем с 4 июня 1944 года руководил особым штабом ВМС на Дунае, но 30 ноября 1944 года снова уволен в отставку.
С 19 апреля 1945 года — руководитель Командования ВМС «Запад».
8 мая 1945 года арестован американскими войсками и содержался в лагере для военнопленных. 25 июня 1946 года освобожден.