В 1918 году окончил Петроградскую консерваторию по классу композиции и дирижирования. Преподавал композицию в Харькове, в 1920-21 годах руководил Украинским симфоническим оркестром там же, в 1922-28 годах — консультант Народного Комиссариата образования. Эмигрировал в США в 1928 году.
Шиллингер был известен также как поэт, математик, художник, скульптор, фотограф, первый в России пропагандист джаза, а также один из лидеров АСМ (Ассоциации современной музыки).
Шиллингер был одним из заметных композиторов раннего советского периода, был другом Дмитрия Шостаковича и Льва Термена. Создал одно из первых академических произведений для терменвокса (с оркестром). Эмигрировав в США, Шиллингер почти полностью перестал сочинять музыку, переключившись на занятия музыкальной теорией и педагогикой. Он был учителем Джорджа Гершвина, Глена Миллера, Бенни Гудмена, Томми Дорсея, Джерри Маллигана и др.
Теория Шиллингера, опубликованная посмертно, составляет два огромных тома (1640 страниц) «Системы музыкальной композиции Шиллингера», а также «Математические основы искусств». Концепция моделей (или фигур) стала основополагающей в его теории. Эти модели в приложении к длительностям, высотам и другим параметрам и создавали ритмические мотивы, мелодику и т. д.
«Все музыкальные процессы — это только особые случаи общей схемы создания моделей». (Иосиф Шиллингер)