Родился в музыкальной семье: его отец был кантором в синагоге, дядя играл на скрипке. Уже в раннем возрасте Орнштейн хорошо умел играть на фортепиано; в 1902 его игру услышал Иосиф Гофман, находившийся в то время в Кременчуге, и рекомендовал поступить в Петербургскую консерваторию. Вскоре Орнштейн начал учиться в школе при Императорском музыкальном обществе в Киеве под покровительством В. В. Пухальского, но смерть одного из родственников вынудила его вернуться домой. В 1904 он уехал в Петербург, где был принят в консерваторию, его учителями стали Александр Глазунов (композиция) и Анна Есипова (фортепиано). В это время Орнштейн зарабатывал на жизнь, аккомпанируя оперным певцам. В 1906 семья Орнштейнов эмигрировала в США и поселилась в Нью-Йорке. Орнштейн поступил в Институт музыкального искусства ? будущую Джульярдскую школу музыки, где учился у Берты Фиринг Тэппер. В 1911 он впервые выступил с сольным концертом из музыки Баха, Шопена и Шумана. Два года спустя Орнштейн сделал свою первую запись, и в это же время он увлекается композицией, причём использует в своих сочинениях новейшие модернистские приёмы (например, кластеры).
Важным событием в жизни Орнштейна является визит в Европу в 1914 году. Он знакомится с Ферруччо Бузони, Мишелем Кальвокоресси, выступает в Лондоне с программой из собственных произведений, а также композиций Шёнберга и транскрипций Баха?Бузони. В 1915 он играет концерты в Нью-Йорке и заявляет о себе как об одном из наиболее передовых музыкантов, но в 1922 оставляет сцену и переключается на преподавание, от которого уходит в 1953, продолжая сочинять до преклонных лет (Восьмую фортепианную сонату он опубликовал в возрасте 97 лет).
Сочинения Орнштейна можно разделить на три большие группы: экспериментальные ? раннего периода, в основном для фортепиано, с использованием атональности, диссонансов и др.; более консервативные (под влиянием восточноевропейской школы) и поздние, как бы объединяющие две предыдущие. Большинство инструментальных произведений Орнштейна имеют программу. Ряд сочинений, таких как «Три настроения», по стилю ? использование пентатоники, гармоний, основанных на трезвучиях, дублировок, ? напоминают импрессионистические работы Дебюсси.
В течение многих лет музыка Орнштейна практически не исполнялась, и лишь в 1970-х годах Вивиан Перлис вновь открыла её для публики. Тем не менее, большая часть творческого наследия композитора в наше время остаётся неизвестной.