Леонид Харитонов родился 19 мая 1930 года в Ленинграде.
После школы поступил на юридический факультет Ленинградского университета. Проучившись там один год, Харитонов решил оставить юриспруденцию и посвятить себя актёрской карьере, о которой мечтал с детства. Он поступил в Школу-студию им. В. И. Немировича-Данченко при МХАТ, которую окончил в 1954 году. В 1954—1962 и с 1963 — артист МХАТ им. М. Горького, в 1962—1963 — Театра им. Ленинского Комсомола и театра им. А. С. Пушкина.
Первая же роль в кино в фильме «Школа мужества» принесла Леониду Харитонову славу. Он снялся в нём ещё будучи студентом, в 1954 году. А через год на экраны страны вышел фильм «Солдат Иван Бровкин», после которого молодой актёр стал кумиром поколения. За несколько лет вышло около десяти картин с Харитоновым в главной роли. Он создал образ нового социального героя — доброго, скромного, обаятельного и «слегка непутёвого». Персонажи Харитонова не только воспитывали, но и веселили, за что актёра любили зрители всех поколений.
С возрастом Харитонов всё меньше появлялся на экране. Стареющих пареньков играть не хотел, снимался крайне редко, преподавал, готовил себя к настоящей этапной роли. Иногда появлялся в эпизодах совсем седым, полноватым, но с таким же озорным огоньком в глазах, как и герои его ранних фильмов. О его былой славе напомнил эпизод из оскароносного фильма Владимира Меньшова «Москва слезам не верит», где перед входом в Театр киноактёра героиня Ирины Муравьёвой восторженно визжала: «Ой, Харитонов!!!».
В последние годы Харитонов тяжело болел. Летом 1980 года, в дни московской Олимпиады, он перенес первый инсульт. Затем на съёмках фильма «Из жизни начальника уголовного розыска», 4 июля 1984 года, последовал второй инсульт. Здоровье подвело его во время кризиса во МХАТе, летом 1987 года.
20 июня 1987 года, в день разделения театра на две части, у Харитонова случился третий инсульт, и в тот же день актёр скоропостижно скончался. Похоронен в Москве, на Ваганьковском кладбище. Надгробие представляет собой расколотый камень в виде разломанной надвое мхатовской чайки, символизирующий раскол МХАТа.
Харитонов был женат трижды. Первой его женой стала сокурсница Света Сорокина. Они поженились на третьем курсе и прожили вместе два года. Светлана Харитонова, оставившая фамилию мужа, служила в Театре киноактёра, потом в Театре сатиры, немало снималась в 1950—1960-е годы в кино.
Со второй женой, актрисой Джеммой Осмоловской, Харитонов познакомился на съёмках кинокомедии «Улица полна неожиданностей». Джемма подарила Леониду сына Алёшу. Алексей Харитонов ныне — учёный-программист.
Третьей и последней женой актёра стала Евгения Гибова, его студентка в Школе-студии МХАТа.
«Забытые свидетели» (1975)
«Коля Брюньон» (1975)
«Мир хижинам, война дворцам» (1967)
«На графских развалинах» (1958)
«Сказка о хитрой куме-лисе»
«Счастливец Баркер» (1957)
«Ученик дьявола» (1958)