И. С. Козловский родился 11 (24) марта 1900 года в селе Марьяновка Киевской губернии (ныне — Васильковский район, Киевская область) в простой украинской семье.
С 7 лет пел в хоре Киевского Михайловского монастыря, где был замечен известным духовным композитором Александром Кошицем. С 1916 по 1925 год также сотрудничал в оперных труппах Полтавы, а также в столичном театре города Харькова. В 1925 году стал солистом Свердловского оперного театра. В 1926 году был приглашен на службу в Большой театр. Дебютировал в роли Альфреда (Травиата), с первых лет службы в Большом театре, исполняя заглавные теноровые партии, приобрел популярность и массу почитателей, в конце 1930-х Козловский неожиданно становится одним из любимых певцов Сталина.
В 1954 году, находясь на пике популярности, Иван Семёнович, по так до конца и неизвестным до сих пор причинам, навсегда покинул Большой театр.
И. С. Козловский умер 21 декабря 1993 года. Похоронен в Москве на Новодевичьем кладбище (участок № 10).
Концертный репертуар Ивана Козловского включал песни разных народов, в первую очередь русские и украинские, старинные русские романсы, классические романсы русских и песни западных композиторов.
Нередко в свои программы он включал произведения, так или иначе связанные с религиозной тематикой. Например, он исполнил и записал ряд произведений И. С. Баха (арии из кантат и книгу напевов Шемели). Также Козловский участвовал в редких для того времени концертах русской духовной музыки. До наших дней дошли записи его соло во «Всенощной» Рахманинова, в «Разбойнике благоразумном» Чеснокова и ряде других православных песнопений.
Иван Семёнович решил подготовить и записать программу, состоящую из украинских рождественских колядок. Колядки были записаны и исполнены со сцены.
По словам Натальи Шпиллер, «голос Козловского никогда не отличался особой мощью. Но свободное извлечение звука, умение концентрировать его позволяло певцу „прорезать“ большие пространства. Козловский может петь с любым составом оркестра и с любым ансамблем. Его голос звучит всегда чисто, звонко, без тени напряжения. Эластичность дыхания, гибкость и беглость, непревзойденная легкость в верхнем регистре, отточенная дикция — поистине безупречный вокалист, с годами доведший владение голосом до высшей степени виртуозности…»
Среди лучших работ Козловского специалисты выделяют партии Юродивого («Борис Годунов»), Герцога («Риголетто»), Лоэнгрина («Лоэнгрин»), Дубровского («Дубровский»), индийского гостя («Садко»), Ленского («Евгений Онегин»). Борис Покровский охарактеризовал творческий вклад певца следующим образом: «И. С. Козловский — это яркая страница в истории отечественного оперного искусства. Лирика восторженного поэта оперы Чайковского; гротеск прокофьевского принца, влюбленного в три апельсина; вечно юный созерцатель красоты Берендей и певец „далекой Индии чудес“ Римского-Корсакова, лучезарный посланец Грааля Рихарда Вагнера; обольстительный герцог Мантуи Дж. Верди, его же мятущийся Альфред; благородный мститель Дубровский… Среди большого списка великолепно исполненных ролей есть в творческой биографии И. С. Козловского и подлинный шедевр — образ Юродивого в опере М. Мусоргского „Борис Годунов“. Создание классического образа в оперном театре явление очень редкое…» П. Пичугин писал: «…Ленский Чайковского и Юродивый Мусоргского. Трудно найти во всей русской оперной классике более несхожие, более контрастные, даже в известной степени чуждые по своей чисто музыкальной эстетике образы, а между тем и Ленский и Юродивый — едва ли не в равной степени высшие достижения Козловского. …Есть в мировом театре роли (их немного!), что давно слились в нашем представлении с тем или иным выдающимся актером. Таков Юродивый. Он навсегда останется в нашей памяти как Юродивый — Козловский».
Козловский внёс большой вклад в музыкальную сокровищницу России, посещая деревни, слушая, обрабатывая и исполняя деревенские напевы, романсы, страдания. Так, он нашёл, записал на ноты и исполнял романс «Я встретил вас…», каковой романс впоследствии стал чрезвычайно популярным у камерных певцов.
Козловский выступал с сольными концертами до 87-летнего возраста.
Козловский и Лемешев выступали в Большом театре в одно время в 1930-1950-х годах. В связи с этим отмечено курьёзное творческое противостояние поклонников и главным образом поклонниц этих певцов. Оба артиста-тенора были кумирами довоенной Москвы. Оба тенора были мастерами вокала, давшими советской сцене много новых, сильнейших образов. Козловскому было свойственно чувство острого, едкого юмора, он с большим блеском исполнял характерные роли. Талант Лемешева наиболее полно раскрывался в лирических, романтических партиях. Вместе Козловский и Лемешев спели в 1958 году на юбилее Ольги Книппер-Чеховой.