На протяжении 14 лет Бу Юханссон играл за шведские клубы «Кальмар» и «Линдсдаль», но как игрок широкой известности не приобрёл. В 1973—1976 годах был играющим тренером.
В 1977 году он закончил карьеру игрока и был назначен тренером своего прежнего клуба «Кальмар», а через два года начал тренировать его вечного принципиального соперника в чемпионате Швеции — клуб «Эстер» из Векшё. В «Эстер» он оставался три года, на протяжении которых клуб дважды (в 1980 и 1981 году) становился чемпионом Швеции. Затем Юханссон тренировал норвежский клуб «Йерв», снова «Эстер», и греческий «Паниониос», после чего начал работать с национальными сборными, возглавив сборную Исландии. Лишь через 13 лет после своего успеха в «Эстер» он завоевал свой следующий титул: датский клуб «Силькеборг», который он возглавил, в 1994 году стал чемпионом Дании.
В 1996 году он был назначен главным тренером сборной Дании, после отставки Рихарда Мёллера-Нильсена, под чьим руководством сборная победила на чемпионате Европы 1992 года, но после этого показывала очень скромные результаты. Бу Юханссон предложил команде более атакующий стиль игры и сумел вывести сборную в финальную часть чемпионата мира 1998 года во Франции, который стал одним из самых громких успехов датчан на международной арене. Невзирая на проигрыш на групповом этапе хозяевам и будущим победителям турнира — сборной Франции, датчане вышли из группы в 1/8 финала, где продемонстрировали зрелищный и результативный футбол; они победили сборную Нигерии со счетом 4:1, но в четвертьфинале уступили 2:3 будущим серебряным медалистам турнира — сборной Бразилии.
К сожалению, датская сборная не сумела сохранить форму и высокий уровень игры, и двумя годами позже на чемпионате Европы 2000 года в Бельгии и Нидерландах выступила неудачно, проиграв все групповые матчи и не попав в плей-офф. Во время турнира Юханссон объявил о своем намерении не продлевать контракт с сборной Дании по окончании чемпионата. Всего с датской сборной Юханссон провел 40 матчей, в которых было 17 побед, 9 ничьих и 14 поражений.
На протяжении трех следующих лет Юханссон не занимался тренерской деятельностью. В 2003 году он возглавил шведской клуб «Гетеборг», где проработал до 2004 года. В 2005 году возглавлял норвежский «Молде», который привел к победе в кубке Норвегии.