Родился в еврейской семье инженеров Арона Фаддеевича (1901—1994) и Фаины Осиповны (1908—1993) Жуховицких в Киеве.
В Москве окончил среднюю школу и Литературный институт. Начало активной творческой деятельности совпало с хрущёвской «оттепелью». На протяжении всей жизни отличался демократическими взглядами, не скрывал критического отношения к советской власти, а её агитпроп в предисловии к книге «О странностях любви» назвал «сусловской камарильей, давившей и сжиравшей собственный народ».
Член Союза писателей СССР (с 1963 года).
Секретарь Союза писателей Москвы, автор более 40 книг и 15 пьес. Главной темой его произведений всегда оставалась любовь. Переводился на 40 с лишним иностранных языков, пьесы более 350 раз ставились в театрах России и Европы. Лауреат нескольких российских и международных литературных премий.
В прозе самым известным является роман «Остановиться, оглянуться…», написанный в 1970-е годы. А лучшей своей работой Жуховицкий находит пьесу «Последняя женщина сеньора Хуана». Самым успешным произведением сам автор считает книгу «О любви», которая даже в Швеции вышла тиражом в 185 тысяч экземпляров.
В 1965 подписал коллективное письмо писателей в защиту Даниэля и Синявского.
Профессор Московского международного университета и Шведской писательской школы. В университете на кафедре журналистики преподавал курс «Писатель за 10 часов».
Дружит с писателями Фазилем Искандером, Евгением Евтушенко, Владимиром Войновичем, критиком Олегом Михайловым, журналистами Павлом Гусевым и Виктором Кожемяко.
Не считая бесчисленных романов, о которых сам Жуховицкий охотно рассказывает в своих интервью, писатель был женат пять раз, и со всеми бывшими жёнами после расставания сохранял прекрасные отношения. Одной из его жён была журналистка Ольга Бакушинская.
Нынешняя жена Екатерина младше Леонида Ароновича на 46 лет (р.1978), в этом браке, начавшемся в 1994 (когда Кате было всего 16), родилась дочь Алёнка (р.1997). Писатель имеет также от первой жены Натальи, уже скончавшейся, дочь Ирину (старше Алёнки на 30 лет), внука Михаила и внучку.
Охотно играет в теннис и биллиард, часто повторяет афоризм давнего друга Фазиля Искандера «Надо гнать молодость впереди себя!», всем мужчинам рекомендует не переходить на диванный образ жизни, заниматься спортом не для здоровья, а для радости. И непременно — любить женщин; по собственному ироническому признанию писателя, сам он «на скользкий путь порока вступил лет в 14».