Родился 9 февраля 1902 года на хуторе Власиха Старицкого уезда Тверской губернии в семье сторожа-лесника. Окончил четырёхклассную сельскую школу. Некоторое время был учеником у деревенского иконописца. Часто выезжал в Петроград, где работал сезонным рабочим.
В 1921 году был направлен для продолжения учёбы в Москву на живописный факультет ВХУТЕМАСа. Через год перешёл в архитектурную мастерскую Александра Веснина.
В 1925—1926 был премирован за конкурсные проекты улучшенной крестьянской избы, жилых домов Гостекстильтреста в Иванове, здания Государственного Белорусского университета в Минске, типовых рабочих клубов на 500 и 1000 человек. В 1926 году начал издавать свои проекты в журнале «Современная архитектура» (СА). 1927—1930 годы — время самой плодотворной и творческой активности архитектора. Он активно участвует в деятельности «Объединения современных архитекторов» (ОСА), выступает на дискуссиях, выполняет множество конкурсных проектов, а с 1928 года начинает преподавательскую деятельность.
В 1929—1930 годах творчество русского архитектора Ивана Леонидова было подвергнуто резкой критике. В журнале «Искусство в массы» (№ 12, 1930) была опубликована статья «Леонидовщина и ее вред», где архитектора обвиняли во вредительстве. Ответ на критику был опубликован в журнале «Современная архитектура» (№ 5, 1930), в котором Леонидов возглавлял редакционную коллегию. Журнал был закрыт, а Леонидов был вынужден уйти из института.
В 1931 году поступает на работу в Государственный институт по проектированию городов (Гипрогор), и на полгода уезжает в Игарку на строительство. После возвращения разрабатывает проект-предложение реконструкции Москвы вместе со своими бывшими учениками. В 1932—1933 годах возглавляет одну из мастерских Моспроекта. В 1934 году переходит на работу в мастерскую Моисея Гинзбурга, где возглавляет творческую бригаду.
В 1941 году был призван в армию. На фронте в составе саперного батальона участвовал в оборонительных боях под Воронежем. В 1943 году был контужен и демобилизован из армии.
После войны вынужденно занимался оформлением выставок. Под впечатлением ужаса войны архитектор работает над проектом Города Солнца, где главная тема — счастье людей.
Иван Леонидов скончался 6 ноября 1959 года от острой сердечной недостаточности на лестнице знаменитого московского универмага Военторг. Похоронен на сельском кладбище около санатория «Мцыри» на станции Фирсановка. На надгробном памятнике в форме куба написано: «Архитектор Иван Леонидов».
Проект типографии вполне определенно передает черты индивидуальности молодого архитектора. Динамичный остекленный фасад пропорционален и выразителен. Впервые используется прием вынесения наружу несущих неметаллических конструкций. Тем не менее имеет место некая ограниченность, свойственная раннему конструктивизму.
Проект был показан на Первой выставке современной архитектуры в Москве в 1927 г. Он произвел на публику огромное впечатление. Этот проект считается творческим кредо архитектора и своеобразным манифестом всей советской архитектуры конца 20-х годов XX века.
Проект имеет сложную объемно-пространственную композицию. Шарообразный объём большой аудитории на 4000 человек и вертикально поставленный параллелепипед книгохранилища вознесены над плоскостью стилобата. Одноэтажные корпуса уходят в трех направлениях от центрального объёма в парковую зону. Здание и статично и динамично одновременно. В проекте использовались все новые достижения того времени. Шар стоит на одной опоре, но опора не спрятана в фундамент, а запроектирована шарнирной, что снимает дополнительные напряжения. опора принимает вертикальные нагрузки от шара, а все остальные напряжения передаются на ванты. Стены книгохранилища максимально тонкие, что достигается путем введения в конструкцию металлических ферм, соединенных растяжками с вершиной и основанием.
Проект института Ленина обошёл архитектурные издания многих стран и продолжает печататься в различных альманахах и обзорах об архитектуре XX века. Он оказал влияние на многие проекты и постройки, например на проект памятника Колумбу Алексея Щусева (1929), центральный ансамбль всемирной выставки в Нью-Йорке (1939), проект ратуши в Торонто Вильо Ревелла (1958—1965), правительственный центр в Бразилиа Оскара Нимейера (1959—1960).
Состав помещений — ателье, правление, гараж, мастерские, подстанция. В основе проекта лежит функция — технология кинопроизводства. Размещая проект на участке архитектор располагает здания между двумя парками, одного вытянутого в направлении север-юг, второго — с большими площадками для размещения декораций. Главное здание фабрики — ателье. Одна сторона открывается, для проведения съемок. Все корпуса фабрики создают единое пространство. В отдельности их представить нельзя. Очень гармонична прорисовка генплана. Все на своих местах, ничего нельзя ни прибавить, ни убавить. Это законченное произведение, напоминающее композиции Казимира Малевича.
Эти проекты Леонидов выполнил по собственной инициативе для иллюстрации доклада о новом типе клуба на Первом съезде ОСА в 1929 году. Вообще тема клубов и их архитектуры была одной из любимых тем Леонидова. По его мнению клуб в условиях социалистического строительства должен предоставить максимальные возможности для всестороннего развития человека, а отдых должен иметь активный, а не пассивный характер. Поэтому вместо традиционного театрального зала он ввел новый тип зала, который предоставлял возможность трансформации для проведения любых действ (лекции, кино, собрания, и другие), а также использовать в качестве планетария. Состав помещений — большой зимний сад научного типа, спортзал, детские клубные комнаты. Обязательное устройство большого парка, спортивных площадок и большого демонстрационного поля.