Будучи врачом по профессии, Отто Нерц играл как футболист-любитель в клубах «Мангейм» и «Теннис Берлин». Впоследствии, в 1923 году, был назначен первым главным тренером национальной сборной Германии. В то время футбол ещё не был одним из главных видов спорта для общества Германии, при этом немецкий футбол был достаточно слабым, по сравнению в другими странами центральной Европы, например, Австрии, Венгрии, Чехословакии и Италии.
Тем не менее, при Нерце немецкая сборная, считавшийся одной из самых слабых в Европе, постепенно развивала свой рост и к концу 1920-х — началу 1930-х годов вышла на новый уровень. Отто Нерц изучил большое количество игр в Чемпионатах и розыгрышах Кубков Англии, Австрии и Италии, пользовался советами по тренировке и тактике всемирно известных тренеров, таких, как Джимми Хоган, Хьюго Мейсл и Витторио Поццо, чтобы улучшить параметры игры немецкой национальной сборной. Отто славился своей строгой дисциплиной, приближенной к военной, так что даже нацистские чиновники Третьего рейха называли его сборную «квази-милитаристской».
Германия не участвовала в первом Чемпионате мира в 1930 в Уругвае, но, к следующему турниру, проведённому в 1934 году в Италии, Германия стала сильной сборной, по европейским стандартам. На этом первенстве Германия под руководством Нерца обыграла Бельгию и Швецию, и лишь в полуфинале уступила Чехословакии, одержав трудную победу над австрийцами в матче за третье место. Это было лучшем мировым достижением футбольной сборной Германии до чемпионата мира 1954 года, победа в котором обеспечит резкий рост популярности этого вида спорта в Западной Германии — однако всего этого Отто Нерцу не суждено было увидеть.
Отто Нерц вступил в НСДАП 1 мая 1937 года, будучи шарфюрером СА еще в 1933 году. После успеха на чемпионате мира, немецкое правительство ожидало от команды Нерца высоких результатов на Олимпийских играх в Берлине в 1936 году. Однако Германия на этом турнире довольно рано выбыла из борьбы, уступив не самой сильной сборной — Норвегии. После того поражения Отто Нерц был сразу же отправлен в отставку, его приемником стал Зепп Хербергер.
После отставки Нерц стал работать в администрации Берлинской футбольной ассоциации. После поражения Третьего рейха во Второй мировой войне, Нерц, как член НСДАП, был арестован советскими оккупационными войсками, и интернирован в лагерь Заксенхаузен, находившийся в советской зоне оккупации Германии, близ Ораниенбурга. После четырёх лет заключения, страдая от голода, 18 апреля 1949 года Отто Нерц скончался от менингита и был похоронен в братской могиле на территории лагеря или недалеко от него, точное место захоронения на настоящий момент неизвестно. Некоторые исследователи, по утверждению источника, утверждают, однако, что смерть Нерца наступила еще в 1947 году.