Родился в семье офицера. Учился в Полоцком кадетском корпусе (1839—1844), затем в Дворянском полку. С 1846 служил в Колыванском егерском полку и Александринском сиротском кадетском корпусе. Участвовал в Крымской войне 1853—1856. В 1859 в чине штабс-капитана вышел в отставку и поселился в Санкт-Петербурге.
В 1859 напечатал отрывок из комедии «Полуфранцузы» в журнале «Гудок» и стихи в журнале «Орёл». Известность принесли физиологические очерки, печатавшиеся в журналах 1860-х годов и выпущенные отдельной книгой.
Литературные заработки были недостаточны и нерегулярны, поэтому Горский брался за любую работу. По свидетельству П. В. Быкова, он «колол дрова, таскал кули на барже, сортировал сельди». Горский также неоднократно обращался за помощью в Литературный фонд. Унизительная бедность и пристрастие к вину развили психическое заболевание, из-за которого Горский с мая по октябрь 1864 пробыл в психиатрической больнице.
Нравственная и психическая неуравновешенность Горского сказались в его письмах-доносах на высочайшее имя, в которых Горский объяснял покушение Д. В. Каракозова влиянием демократических журналов, прежде всего «Современника» и «Русского слова». Вместе с тем он признавался в том, что нищета побуждала и его «произвести революцию и уничтожить дворянство».
Летом 1866 был арестован и сослан в Пензу, в 1867 переведён в Саранск, в 1869 — в Нижний Ломов. В ссылке он и его жена бедствовали. Горский давал частные уроки, работал маляром, писал обличительную поэму о губернском чиновничестве (осталась неопубликованной).
Дебютировал в печати отрывком из комедии «Полуфранцузы» в журнале «Гудок» и стихотворениями «Завещание» и «Родина» в журнале «Орёл». В «Орле» поместил также очерк о провинциальных чиновниках «Хорошие люди», юмористический рассказ с автобиографическими мотивами «Четыре главы из моей жизни» о детстве. Издал роман в стихах «Миллионер» (Санкт-Петербург, 1861).
Наиболее характерным для Горского считается жанр физиологического очерка в духе умеренно обличительной литературы:
Типичный герой у Горского представляет собой благородного нищего, опустившегося дворянина, от лица которого ведётся повествование о нравах петербургского «дна», трудовой биржи, больниц для бедных, полицейских участков, о быте литературных поденщиков. Выпустил сборник «Сатирические очерки и рассказы» (т. 1—2, Санкт-Петербург, 1864), в который вошли опубликованные ранее в журналах очерки.
Современники Горского, критики из «Русского слова», «Современник», «Отечественных записок», «Библиотеки для чтения» упрекали Горского в неряшливости языка, излишнем натурализме, в безыдейности и мозаичности. Однако искренностью, смелым изображением тёмных, порой отталкивающих сторон жизни, сочувствием к обездоленным Горский сумел привлечь читателей.
С Ф. М. Достоевским Горского связывало сотрудничество в журналах «Время» и «Эпоха». Художественные достоинства его очерков писатель оценивал невысоко, однако считал их полезными для журналов с точки зрения фактов. Достоевский оказывал Горскому материальную поддержку. Высказывалось предположение, что Горский является прототипом отставного капитана Лебядкина, терроризирующего публику «рифмованным словоблудием», в романе «Бесы», а также, в некоторой мере, Мармеладова в романе «Преступление и наказание».