Родился 22 апреля 1822 года, происходил из дворян Санкт-Петербургской губернии. Образование получил в Главном инженерном училище (впоследствии Военный инженерно-технический университет), куда был зачислен 1 января 1836 года.
13 августа 1839 года был произведён в полевые инженер-прапорщики, а по окончании полного курса высшего инженерного образования, включавшего офицерскиt классы, в 1841 году был зачислен сначала в Санкт-Петербургскую, а затем в Кронштадтскую инженерную команду. В 1842 году Орловский был переведён в Гренадерский сапёрный батальон, а в 1847 году — в учебный сапёрный батальон. 10 июня 1843 года произведён в подпоручики, 10 июля 1846 года — в поручики и 16 марта 1853 года — в штабс-капитаны.
В 1853 году Орловский начальствовал сапёрной гальванической командой, с которой принял участие в походе графа Перовского из Оренбурга против кокандцев и находился с 2 по 28 июля при осаде Ак-Мечети. За боевые отличия в этом походе был награждён 6 февраля 1854 года орденом св. Георгия 4-й степени (№ 9294 по списку Григоровича—Степанова):
В 1854 году находился с ротой в Гельсингфорсе в составе войск, охранявших берега Финляндии от возможной высадки англо-французского десанта. 4 июня 1855 года был переведён капитаном в Лейб-гвардии Сапёрный батальон.
Произведённый 30 августа 1860 года в полковники, Орловский 21 марта 1861 года назначен командиром 1-го Кавказского сапёрного батальона, с которым принимал участие в покорении Западного Кавказа, а именно: в 1862 году состоял начальником инженеров в Верхне-Абодчихском отряде; в период 1862—1863 годов командовал Кодорской колонной и участвовал в усмирении Джаро-Белоканскского округа; в 1862 году награждён золотой полусаблей с надписью «За храбрость».
29 июня 1863 года назначен командиром Лейб-гвардии Сапёрного батальона; 27 марта 1866 года произведён в генерал-майоры. 16 мая 1871 года назначен в Свиту Его Величества. 6 октября 1873 года назначен состоять при генерал-инспекторе по инженерной части, а в 1877 году, во время русско-турецкой войны, вызван в Главную квартиру, при коей состоял до 29 ноября 1878 года, когда был назначен начальником Зимницко-Систовской переправы.
По окончании войны, 9 мая 1878 года, был назначен начальником 1-й сапёрной бригады с производством в генерал-лейтенанты (старшинство с 1 января 1878 года). С 13 августа 1889 по 11 апреля 1892 года состоял в распоряжении главнокомандующего войсками гвардии и Санкт-Петербургского военного округа. 11 апреля 1892 года назначен членом Военного совета и 30 августа того же года произведён в инженер-генералы.
Орловский долгое время состоял членом бывшего главного комитета по устройству и образованию войск, где деятельно участвовал в разрешении вопросов по организации и технической подготовке инженерных войск, был председателем комиссии по составлению положения для специального образования войск.
Как человек и начальник, Орловский пользовался большой популярностью: соединяя в себе редкую гармонию ума и сердца, обладая ярким темпераментом, он был всегда и везде веселым, остроумным, находчивым и действовал воодушевляющим образом на окружающих; Орловский был всегда отзывчивым к нуждам и горестям своих подчиненных, чем и привлекал их сердца.
Умер 29 мая 1895 года, похоронен в Исидоровской церкви Александро-Невской лавры.
Среди прочих наград Орловский имел ордена: