Тренерскую карьеру Рехагель начал в 1974 году в «Кикерс» из Оффенбаха. Затем возглавлял такие клубы, как «Вердер», «Боруссия» и «Арминия». В 1980 году завоевал во главе дюссельдорфской «Фортуны» свой первый трофей — Кубок Германии. В 1981 году Отто Рехагель вернулся в «Вердер», после чего возглавлял этот клуб в течение 14-ти лет, выиграл с ним два чемпионата Германии, два Кубка Германии и — в сезоне 1991/92 — Кубок обладателей кубков. Затем был неудачный сезон 1995/96 в «Баварии», после чего Рехагель оказался во второй лиге в «Кайзерслаутерне». Он вывел эту команду в Бундеслигу, одержав с ней победу во второй лиге в сезоне 1996/97, и стал чемпионом Германии в сезоне 1997/98.