Родился в семье зажиточного крестьянина. Окончил Полтавскую классическую гимназию, Лазаревский институт восточных языков в Москве. С 1904 добровольно служил в чине юнкера флота на эсминце «Буйный», с 1905 — на крейсере «Память Азова». После увольнения с военной службы работал в министерстве финансов. Во время Первой мировой войны вернулся на флот. С декабря 1916 — лейтенант флота, помощник командира 2-го Балтийского экипажа. Был произведён в старшие лейтенанты.
В декабре 1917 вернулся на Украину, был назначен директором контрольного департамента Секретариата морских дел Центральной рады. С апреля 1918 — начальник Главного военно-морского хозяйственного управления морского министерства УНР, затем — Украинской державы гетмана Павла Скоропадского. Входил в состав украинской делегации на мирных переговорах с Советской Россией. Вступил в партию социалистов-самостийников, стал активным участником подготовки восстания против гетмана.
После создания правительства Украинской Директории стал в нём исполняющим обязанности морского министра (с 25 декабря 1918). Во время его пребывания на этом посту были приняты законы «О флоте», «О гардемаринской школе» (созданной в Николаеве, затем переведённой в Каменец-Подольский), «Об организации Военно-морских сил Украины на побережье Чёрного моря», утверждена структура морского министерства и Морского Генерального штаба. Находившиеся в Николаеве корабли Черноморского флота 25 января 1919 официально получили украинские названия (после утраты над ними контроля УНР в феврале 1919 были вновь переименованы). Его коллега Святослав Шрамченко отмечал энергию, честность и государственное мышление Белинского.
24 апреля 1919 из-за разногласий социалистов-самостийников с более левыми политическими силами, доминировавшими в новом правительстве Бориса Мартоса, ушёл в отставку. С 22 мая 1919 — начальник дивизии морской пехоты армии Украинской народной республики (УНР), сформированной из бывших моряков — граждан УНР и Западно-Украинской народной республики (ЗУНР), в том числе служивших на Адриатическом флоте Австро-Венгрии и сплавщиков леса по рекам из Прикарпатья. Из них был создан 1-й Гуцульский полк морской пехоты. Дивизия участвовала в боях против Красной армии, в Первом Зимнем походе армии УНР 1919—1920.
С 10 октября 1919 — начальник Морского Генерального штаба УНР. С мая 1920 — министр внутренних дел УНР. В 1920 продолжал находиться в армии вместе со своей дивизией. В конце 1920 был интернирован в польских лагерях, в феврале 1921 вошёл в состав Рады Республики, был заместителем руководителя государственной комиссии, разрабатывавшей Конституцию УНР. С октября 1921 — член штаба Украинской повстанческой армии генерала Юрия Тютюнника, в этом качестве участвовал во Втором Зимнем походе армии УНР (в составе 1-й бригады Киевской дивизии Волынской группы, сформированной преимущественно из морских пехотинцев). Был ранен при переправе через реку Тетерев в бою с конной дивизией Григория Котовского, но остался в строю. Участвовал в последнем бою с «котовцами» под селом Малые Миньки, не желая сдаваться в плен, покончил жизнь самоубийством.