Окончил физический факультет Московского университета (1938). Кандидатскую (1944, «Электронная температура в астрофизике») и докторскую диссертации (1949) защитил на кафедре астрофизики ГАИШ.
Основные научные работы относятся к теоретической астрофизике.
Занимался разработкой общей теории короны Солнца и теории радиоизлучения Солнца (1944—1949). Осуществил исследование химического состава и состояния ионизации солнечной короны. Показал, что во внутренней короне основным механизмом возбуждения является электронный удар и развил теорию этого процесса. Показал также, что во внешней короне основную роль в возбуждении спектральных линий высокоионизованных атомов железа играет излучение солнечной фотосферы. Нашёл, что в области длин волн короче 1500 ? спектр Солнца должен состоять из эмиссионных линий. Впервые отметил важную роль солнечного рентгеновского излучения в образовании D-слоя ионосферы Земли. Дал, независимо от В. Л. Гинзбурга и английского астронома Д. Мартина, интерпретацию радиоизлучения «спокойного» Солнца как теплового излучения верхней хромосферы (на сантиметровых волнах) и короны (на метровых волнах). В 1946 году впервые выдвинул гипотезу, объясняющую всплески солнечного радиоизлучения плазменными колебаниями в короне, возникающими при прохождении через неё потоков энергичных частиц.
Занимался теорией происхождения космического радиоизлучения. В 1948 году произвёл детальный расчёт предсказанной X. К. ван де Хюлстом радиолинии нейтрального водорода с длиной волны 21 см и показал, что интенсивность излучения Галактики в этой линии достаточна для обнаружения его с помощью имевшегося тогда оборудования.
В 1949 году указал на возможность наблюдений межзвёздных молекул в радиодиапазоне. В 1952 году рассмотрел непрерывное радиоизлучение Галактики и указал на спектральные различия излучения, приходящего из низких и высоких галактических широт. Предсказал существование теплового радиоизлучения зон H II (ионизованного водорода) и отождествил некоторые области H II на небе с источниками сантиметровых и дециметровых волн. Источники, излучающие в метровом диапазоне, отождествил с остатками вспышек сверхновых звёзд. В 1953 объяснил радиоизлучение дискретных источников — остатков вспышек сверхновых звёзд (в частности, Крабовидной туманности) — синхротронным механизмом и предсказал особенности их излучения. В 1956 предложил первую достаточно полную эволюционную схему планетарной туманности и её ядра. Впервые указал на звёзды типа красных гигантов с умеренной массой как на возможных предшественников планетарных туманностей и их ядер.
В 1967 году, ещё до открытия пульсаров, проанализировав наблюдения источника излучения Скорпион X-1 в оптическом и рентгеновском диапазонах, сделал правильный вывод, что излучение порождается аккрецией на нейтронную звезду.
Ввёл в обращение термины «реликтовое излучение» и «презумпция естественности».
Ряд исследований посвящён полярным сияниям и инфракрасному излучению ночного неба. Разрабатывал также вопросы, связанные с природой излучения квазаров, пульсаров, рентгеновских и гамма-источников. Принимал участие в постановке астрономических космических исследований.
Известен также своей научно-популяризаторской деятельностью. Его книга «Вселенная, жизнь, разум», выдержавшая несколько изданий, привлекла широкое внимание к проблеме существования разумной жизни за пределами Земли.
Иосиф Шкловский был свободолюбивым человеком и боролся против дискриминации учёных, грубого нарушения принципов интернационализма в советской политике, растущего государственного антисемитизма в СССР. Слухи об ограничении поступления евреев в университеты и дискриминацией при карьерном продвижении в научных учреждениях глубоко возмущали учёного. Советские партийные органы делали всё возможное чтобы ученый с мировым именем, к мнению которого прислушивались во всем мире, замолчал. В первую очередь его лишили поездок за границу на конференции — ассамблеи Международного астрономического союза (МАС) в США (1961) и ФРГ (1964). Позднее ему дали возможность поехать на Конгресс по релятивистской астрофизике (Нью-Йорк, 1966), симпозиум по релятивистской астрофизике в январе 1967 (США). После событий 1968-го он снова стал «невыездным», в 1973 его не выпускают в Австралию, на симпозиум МАС. Иосиф Шкловский смело защищал диссидента Кронида Любарского, в то время как сорок членов АН СССР подписали письмо, где травили своего коллегу, Шкловский поддерживал Андрея Сахарова. В 1976 партийные органы вновь отказывают учёному в возможности сделать научный доклад во французском Гренобле, лишь в 1979 году, в самый последний момент ему дают визу в Канаду, на симпозиум в Монреале. После заседания израильский учёный Ювал Нейман предложил Шкловскому улететь в Израиль на самолёте авиакомпании Эль-Аль, но он отказался.