Родился 2 февраля 1928 года в посёлке Нахабино, Московской области. В 1935 года семья переехала в Ивантеевку Московской области. В 1942 году поступил в Московскую военно-морскую спецшколу. После окончания в 1949 году Каспийского высшего военно-морского училища служил штурманом, затем помощником командира на малой подводной лодке М-113 на Черноморском флоте. В 1951 году старшего лейтенанта Жильцова направили на учёбу в Ленинград на высшие курсы подводного плавания, которые он окончил с отличием и в 1952 году был назначен помощником командира средней подводной лодки С-61. В августе 1954 года Лев Михайлович назначен старшим помощником командира строящейся первой опытной атомной подводной лодки. В июне 1959 года Лев Михайлович Жильцов за активное участие в создании первой атомной подводной лодки был награждён орденом Ленина и в этом же году назначен её командиром. Летом 1962 года атомная подводная лодка «Ленинский комсомол» под командованием капитана 2 ранга Льва Михайловича Жильцова совершила проход под паковыми льдами Северного Ледовитого океана и 17 июля, выбрав подходящую полынью, всплыла в непосредственной близости от Северного полюса, продемонстрировав технические возможности молодого атомного флота нашей страны и высокое мастерство советских подводников. За этот беспрецедентный по тому времени поход (тогда рейды атомных подводных лодок сравнивались с полетами в космос) 20 июля 1962 года Указом Президиума Верховного Совета СССР Льву Михайловичу Жильцову было присвоено звание Героя Советского Союза (медаль № 11122). В 1963 году Лев Михайлович поступил в Военно-морскую академию, после окончания которой, в 1966 году его назначили заместителем командира отдельной бригады подводных лодок Балтийского флота. В 1975 году ему присвоено звание контр-адмирала. С 1976 года служил в Постоянной комиссии государственной приемки кораблей ВМФ. А в 1987 году ушёл отставку.
В 1988 году Льву Михайловичу Жильцову было присвоено звание «Почетный гражданин города Ивантеевки». В 1997 году в ознаменование 35-й годовщины всплытия на Северном полюсе атомной подводной лодки «Ленинский комсомол» под командованием Льва Михайловича Жильцова, в городе Ивантеевке на доме, где прошли детские годы Льва Михайловчиа Жильцова по адресу ул. Первомайская, 30/2 была открыта мемориальная доска и одна улица города стала носить имя Адмирала Жильцова.
Скончался 27 февраля 1996 года. Похоронен в городе-герое Москве на Троекуровском кладбище.
Лев Михайлович Жильцов соавтор капитального труда «Атомная подводная эпопея», изданного в России, Франции, Испании, Чехии.