Родился в Могилёвской губернии в семье инженера Израиля Хацкелевича Лурья и его жены Анны Яковлевны Лурья (в девичестве Левитиной). С 1899 года до 1909 года жил в Одессе, учился в коммерческом училище. Учился в Петербургской консерватории (1909-16), в это же время принял католичество. Посещал «Бродячую собаку».
С 1918 по 1921 год, работал начальником музотдела Наркомпроса (МУЗО). 17 августа 1922 года уехал в Берлин. Жил во Франции. Весной 1941 года был вынужден эмигрировать.
С 1941 года — в Нью-Йорке. В 1960-х годах жил в Принстоне.
Один из вдохновителей Анны Андреевны Ахматовой.