Йохан Нескенс родился в городе Хемстеде (провинция Северная Голландия). Свою карьеру Йохан начал в местном клубе РКХ в 1968 году. В 1970 году 19-летний Нескенс подписал контракт с «Аяксом», тогдашний тренер Ринус Михелс был впечатлён игрой молодого правого защитника. Став сразу игроком основного состава, Нескенс выиграл кубок чемпионов 1971 года, в финале одолев «Панатинаикос». В сезоне 1971/72 Нескенс выполнял роль центрального полузащитника, в поддержку Йохана Кройфа. В 1974 году Нескенс отправился в «Барселону», в которую ранее перешёл нападающий Йохан Кройф и главный тренер «Аякса» Ринус Михелс. Так как в «Барсе» уже выступал один Йохан, то болельщики сразу нарекли Нескенса «Йохан Второй».
В то время «Барселона» выступала неудачно как во внутреннем первенстве, оставаясь в тени мадридского «Реала» и «Атлетико», так и в Европе. С «Барселоной» Йохан выиграл лишь кубок Испании 1978 года и одержал победу в финале кубка обладателей кубков УЕФА, обыграв немецкую «Фортуну» (2:2 в основное время, и 4:3 д.в). В 1979 году Йохан принял предложение от американского клуба «Космос» из Нью-Йорка. В «Космосе» Нескенс провёл 5 лет, успев поиграть с такими футболистами как Франц Беккенбауэр, Карлос Алберто Торрес, Владислав Богичевич и другие. В 1980 году Йохан стал чемпионом США. Завершая свою карьеру Нескенс так же выступал в нидерландском «Гронингене» (1984—1985), в американском «Минесота Страйкерс» (1985) и «Форт Лодердейле» (1986), и в швейцарских клубах «Лёвенбрау» (1986—1987), «Бар» (1987—1990) и «Цуг», в конце 1991 года Йохан завершил свою футбольную карьеру.
Йохан Нескенс провёл 49 матчей за национальную сборную Нидерландов, и забил 17 мячей. Его дебют состоялся в матче против сборной Восточной Германии. Нескенс играл ключевую роль в центре обороны сборной на Чемпионатах мира 1974 и 1978 года. Именно Нескенс открыл счёт в финальном матче чемпионата Мира 1974, против Западной Германии, забив с пенальти на 2 минуте, но в итоге немцы отыгрались благодаря голами Пауля Брайтнера и Герда Мюллера.
Четыре года спустя, Нескенс всё так же был неизменным игроком обороны сборной Нидерландов. С повреждённым ребром (травму Йохан получил в матче с Шотландцами) Нескенс снова дошёл со сборной до финала чемпионата мира 1978 года, но вновь проиграли, на этот раз Аргентине, в дополнительном времени со счётом 3-1. В 1981 году, Йохан провёл последнюю игру, в матче квалификационного турнира к чемпионату мира 1982 года, Нидерланды в матче против Франции, проиграли французам со счётом 2:0.
Итого: 49 матчей / 17 голов; 48 побед, 17 ничьих, 18 поражений.
Нескенс вошёл в список 125 самых великих из ныне живущих футболистов, который огласил 4 марта 2004 года бразилец Пеле.
По требованию Гуса Хиддинка Нескенс, наряду с Франком Райкаардом и Рональдом Куманом, действовал в сборной Нидерландов как помощник главного тренера, во время квалификационного турнира к Чемпионату мира 1998 года и на самом первенстве мира. После ухода Хиддинка из сборной Нескенс выполнял ту же самую работу, но на этот раз, когда главным тренером был Франк Райкаард, вплоть до 2000 года. После ухода из сборной Йохан стал главным тренером «Неймегена», но в 2004 был уволен за плохие результаты в чемпионате страны.
В декабре 2005 года Нескенс был назначен помощником главного тренера сборной Австралии, которой руководил Гус Хиддинк. После успешного выступления на чемпионате мира 2006 года Йохан вернулся в «Барселону», с которой он ранее подписал контракт три года. В «Барселоне» Нескенс должен был заменить Хенка тен Кате в техническом штабе клуба. 8 мая 2008 года, после двух провальных сезонов, президент «Барселоны» Жоан Лапорта заявил что Нескенс (так же как и Райкаард) покинет «Барселону» в конце сезона 2008.
28 июня 2011 года назначен на пост главного тренера южноафриканского клуба «Мамелоди Сандаунз».