Родился в с. Харьковцы Пирятинского уезда Полтавской губернии (ныне Полтавская обл.) Учился в Феодосийской учительской семинарии, позже — в Институте высших коммерческих знаний в Петербурге.
Некоторое время принадлежал к Украинской социал-демократической рабочей партии. В 1913 стал членом большевистской партии. Участник Первой мировой войны, прапорщик русской армии. С лета 1916 преподавал в Венском военном училище. После Февральской революции активно занимался организаторские-революционной деятельностью, был делегатом первого Всероссийского съезда Советов. Считал, что Россия не готова к социалистической революции, отстаивал идею укрепления завоеваний Февральской революции. Поддержал 1 Универсал Украинской Центральной Рады, добился его поддержки Полтавской организацией РСДРП.
Даже после Октябрьской революции в Петрограде полтавские большевики под влиянием Шахрая и С. Мазлаха декларировали свою лояльность к УЦР, заявили о её поддержке. Взгляды Шахрая на национальный вопрос существенно отличались от взглядов лидеров большевиков на Украине, в частности, Киевской и Екатеринославской большевистских организаций. В декабре 1917 был участником Всеукраинского съезда Советов в Киеве. Вместе с другими большевиками покинул съезд и переехал в Харьков.
Принял участие в работе первого Всеукраинского съезда Советов, был избран членом ЦИК Украины и первого большевистского правительства — Народного Секретариата. В декабре 1917 — феврале 1918 — народный секретарь военных дел. В начале 1918 входил в состав делегации харьковского большевистского правительства на переговорах в Бресте с представителями стран Четверного союза. В феврале 1918 Шахрай, поняв, что все важные вопросы решаются только в Петрограде и не желая выполнять чисто декоративную функцию, подал в отставку. В марте 1918 вновь избран в состав Народного Секретариата, возглавил секретариат земельных дел. В 1918-19 работал в Саратовском политотделе Украинского отдела Наркомата РСФСР по делам национальностей.
Автор работ, в которых разработаны теоретические основы украинского коммунизма. В работе «Революция на Украине» подчеркивал, что национальный вопрос требует своего решения, а утверждение, что социализм автоматически решает национальный вопрос, является ошибочным. В своей работе «К текущему моменту. Что происходит на Украине и с Украиной?» (1919, соавтор С. Мазлах) отмечал, что решением «… национальных движений является одно: полная демократия, а полная демократия означает организацию национальных государств». Поддерживал идею соборности украинских земель, подчеркивая, что «наихудшим результатом для Украины был бы ее новый раздел», возникновение новых препятствий к объединению Приднепровья и Галичины. Решительно выступал как против российского, так и против польского империализма. Выдвинул идею создания Украинской коммунистической партии (большевиков), которая бы возглавила национально-освободительную борьбу украинских рабочих и крестьян за создание собственного государства, свободного от социального и национального угнетения.
После опубликования книг Шахрай вместе с С. Мазлахом были исключены из большевистской партии. Постановлением ЦК КП(б) им запрещалось работать в государственных учреждениях, предлагалось выехать из Украины, а книги изымались.
Во время оккупации Украины белогвардейские войсками находился на Кубани, где был схвачен и расстрелян деникинцами.