Сведения о времени рождения Сколовского различаются: в одних источниках указывается 17 июля 1926 г., в других утверждается, что он родился в 1921 г. и в 1923 г. с родителями переехал в США.
Сколовский учился в Кёртисовском институте музыки у Изабеллы Венгеровой, а также у Леопольда Годовского. В 1939 г. он выиграл Наумбурговский конкурс молодых исполнителей.
Творческое содружество связывало Сколовского с Дариусом Мийо, посвятившим Сколовскому Четвёртый концерт для фортепиано с оркестром (впервые исполнен Сколовским и Бостонским симфоническим оркестром под управлением Шарля Мюнша, 1950) и «Хвалебный гимн» (фр. Hymne de glorification; 1954).
Оставил ряд записей — в том числе диск с сонатами Скрябина, Бартока, Берга и Хиндемита.
С 1975 г. профессор, с 1987 г. почётный профессор Индианского университета.