В 1980-е тренировал «Фрем» и K?ge Boldklub.
В 1990 году назначен помощником главного тренера сборной Дании по футболу. Вместе с командой он становится чемпионом Европы 1992 года. После победы Поульсена назначают на должность главного тренера молодежной сборной Дании. Работу с этой командой продолжил до 1999 года, когда занял должность спортивного директора сборной Сингапура по футболу. После увольнения с поста главного тренера команды Винсента Субраманиама, Ян Поульсен возглавил национальную команду Сингапура, но был уволен в 2002 году за плохие результаты. Он возвращается в Данию, где продолжает тренерскую работу. В 2006 году он получает предложение возглавить молодежную сборную Иордании по футболу. С этой командой он добивается неплохих успехов, и выводит её на молодежный чемпионат мира по футболу, работает вплоть до 2008 года, когда ему поступает предложение возглавить сборную Армению.
Под руководством Яна Поульсена в рамках отборочного этапа ЧМ-2010 сборная Армении в 5 сыгранных матчах потерпела 4 поражения и один раз сыграла вничью. 30 марта 2009 года Ян Поулсьен отправлен в отставку.
В настоящий момент он занимает должность главного тренера сборной Танзании по футболу. В 2010 году сборная Танзании под руководством Яна Поульсена выиграла Кубок Восточной и Центральной Африки.