Родился 4 октября 1931 года в Ленинграде в учительской семье. Отец, выходец из крестьянской старообрядческой семьи Яков Алексеевич Горбовский (1900—1992) был репрессирован в 1937. Мать, дочь коми-зырянской детской писательницы Агнии Сухановой Галина Ивановна Суханова (у. 1996) перед самой войной отправила сына к сестре арестованного мужа в Порхов, который захватили немцы. После Победы разыскалась мать, пробывшая всю блокаду в Ленинграде. Поэт позже вспоминал, как он скитался по детдомам, пока мать с отчимом не нашли его и не определили в ремесленное училище № 13. Из училища он попал в колонию для несовершеннолетних преступников в городе Маркс, совершил удачный побег. Добрался до Ленинграда, но мать с отчимом к тому времени перебрались в Новосибирск, и Горбовский уехал в Кинешму (Ивановская область), где преподавал в сельской школе его ссыльный отец, который помог ему оформить паспорт и окончить семилетку.
Восьмой класс Горбовский закончил уже в Ленинграде, затем служил в стройбате (за три года службы двести с лишним суток отсидел на гауптвахте). После армии поступил в Ленинградский полиграфический техникум, откуда был отчислен через два года.
Занимался в литературных объединениях, сначала в ДК профтехобразования у Давида Дара, затем у Глеба Семёнова в Горном институте. В литобъединении Горного института познакомился с Лидией Гладкой, которая стала первой его женой и с которой он потом уехал взрывником в геофизическую экспедицию на Сахалин, где проработал несколько лет.
Стихи писать начал в шестнадцать лет, в армии писал песни, одна из самых известных — «Сижу на нарах, как король на именинах». Первая публикация стихов — в волховской районной газете «Сталинская правда» (1955). Первая книга вышла в 1960. Член СП СССР с 1963 года. С 1974 года пишет также прозу. Написал либретто оперетты «Гори, гори, моя звезда» на музыку С. Пожлакова (1978).
Был трижды женат (в первом браке на поэтессе Лидии Гладкой), имеет трёх детей.