Леонид Мильграм родился в Москве 25 февраля 1921 года. Его отец — Исидор Вольфович Мильграм (1896—1938), большевик с 1916 года, принадлежал к первому поколению советских разведчиков. Мать — Фрида Францевна Мильграм, сопровождала мужа в командировках, работала шифровальщицей. В Москве Мильграмы жили в гостинице «Люкс» (Тверская улица, 10), где родился Леонид, затем переехали в соседний дом 12, где занимали две комнаты в коммунальной квартире. Первые годы жизни Л. И. Мильграма связаны с работой отца. В 1924—1925 году И. В. Мильграм с семьей жил в Греции, где был резидентом ОГПУ. В 1926 году он сопровождал Л. Д. Троцкого в поездке на лечение в Германию. В 1926—1927 годах Мильграмы жили в Китае, где Исидор Вольфович был резидентом ОГПУ под прикрытием должности генерального консула СССР в Шанхае. Впоследствии, уже без семьи, он находился на нелегальной работе в Минске.
В 1930 году И. В. Мильграм перешел на преподавательскую работу. Он поступил в Институт красной профессуры и одновременно преподавал в Центральной школе ОГПУ. В том же году произошли изменения в личной жизни: семья Мильграмов распалась. Леонид остался жить с отцом и его второй супругой, киноактрисой Евлалией Вячеславовной Успенской (артистический псевдоним — Ольгина, 1904—1986). В 1934 году И. В. Мильграм перешел на работу в Академию наук СССР, став учёным секретарем Института экономики. В квартире Мильграма и Успенской в Лёвшинском переулке бывали кинорежиссёр М. И. Ромм, боксёр и актёр К. В. Градополов, голландский коммунист Д. Вайнкоп, шахматист Э. Ласкер и другие интересные люди.
В 1929 году Леонид Мильграм поступил в школу № 7, позже разделившуюся на 119-ю (Мильграм учился в ней) и 131-ю. Но ещё до получения аттестата зрелости в его жизни произошли трагические изменения. В феврале 1937 года отец был исключен из партии, а в мае — арестован. Летом Леонид уехал в школьный лагерь, а вернувшись обнаружил, что квартила опечатана — арестовали также и мачеху. 16-летний Леонид остался вдвоём с 14-летним сводным братом Борисом. Он не был отправлен в детский дом, продолжал учиться в школе, совмещая учёбу с работой, чтобы прокормить себя и младшего брата. Леонид и его одноклассники, также оставшиеся без родителей (таких было 13 человек), создали бригаду, занимавшуюся разгрузкой вагонов. Жил Леонид в маленькой 9-метровой комнатке на Патриарших прудах, которую получил взамен конфискованной жилплощади родителей.
Много позже Мильграм узнал, что его отец, приговор которого, объявленный родственникам, гласил «10 лет без права переписки», был расстрелян 10 марта 1938 года. В 1956 году последовала посмертная реабилитация. Мачеха, Е. В. Успенская прошла через лагерь и ссылку как член семьи изменника Родины. Она смогла вернуться в Москву только после смерти И. В. Сталина.
В 1939 году Мильграм окончил школу и, успешно сдав экзамены, поступил на исторический факультет Московского государственного университета.
В день начала учебного года, 1 сентября 1939 года началась II Мировая война. Студентов-первокурсников призвали на военную службу. В число призванных Мильграм, как сын «врага народа», поначалу не попал, он трижды писал специальные заявления и в ноябре 1939 года наконец был призван в ряды Красной армии. Первым местом службы стал 409-й стрелковый полк. В апреле 1940 года вместе с другими студентами, выделенными как более грамотные, Мильграм был переведен в 40-й отдельный артиллерийский дивизион особой мощности.
Великую Отечественную войну Мильграм прошёл с первого до последнего месяца, служа артиллерийским разведчиком. К началу войны 40-й дивизион был расквартирован в подмосковной Коломне, на третий день войны он был погружен в эшелон и переброшен на Западный фронт, под Красный Смоленской области. Затем было тяжелое отступление. Сначала в Гжатск на востоке Смоленщины, потом под Москву. В октябре 1941 года дивизион был выведен за Урал и расквартирован в селе Сигаево Сарапульского района (Удмуртская АССР), где находился до апреля 1944 года.
В 1943 году, находясь в Москве в увольнении, Мильграм, зайдя в гости к своему школьному товарищу, встретил Миреллу Пасторе, дочь итальянского коммуниста Оттавио Пасторе (), семья которой находилась в эмиграции в СССР с 1929 года. С этого дня они переписывались вплоть до конца войны. В том же 1943 году Мильграм вступил в ряды членов ВКП(б).
В апреле 1944 года 40-й артдивизион был переведен на Ленинградский фронт под Выборг. После взятия Выборга, дивизон был переведен в состав 1-го Украинского фронта в Польшу. Затем был Сандомирский плацдарм и взятие Бреслау (ныне Вроцлав), где Мильграма застало известие об окончании войны. Демобилизовался он 8 марта 1946 года.
После демобилизации в 1946 году Мильграм вернулся в Москву. Он женился на Мирелле Пасторе, дочери редактора итальянской социалистической газеты "Аванти" и потом коммунистической "Унита" Оттавио Пасторе, оставшейся ради него в СССР и поселился у нее в той же гостинице «Люкс» на Тверской (в то время уже улице Горького), в которой родился.
В том же году Мильграм восстановился на 1-м курсе исторического факультета МГУ, который успешно закончил в 1951 году. По распределению (как сын врага народа и еврей по национальности — учитывая годы борьбы с «безродным космополитизмом») Мильграм не получил места работы в Москве, а был отправлен учителем истории в Архангельск.
Леониду Исидоровичу удалось создать школу уникальную своим составом учителей и атмосферой. Она стала одной из самых известных и престижных в Москве. Множество учителей являлись носителями звания Заслуженный учитель, а также обладатели премии Сороса. Индивидуальный подход к ученикам и учителям способствовал высоким результатам, которые непрестанно демонстрировали ученики. Гимназия регулярно фигурировала в списках победителей олимпиад по множеству предметов, выпускники продолжали учебу в известных заведениях в Москве и зарубежом. Мильграм часто проявлял необычные педагогические методы. Например, он ввел форму, чтобы исключить неравенство, вносимое в классы детьми исключительно богатых родителей, не позволял ношение ювелирных украшений и настаивал на аккуратной стрижке для мальчиков: каждое утро он стоял в дверях и приветствовал своих учеников, тех, кто не соответствовал требованиям, отправлял в парихмахерскую, давая им 15 копеек на стрижку.
Супруга Л.И.Мильграма - Мирелла Октавиановна Мильграм. Скончалась 22 февраля 2012 года.