Родился 2 декабря 1825 г., воспитанник Павловского кадетского корпуса, 10 августа 1844 г. произведён в первый офицерский чин и поступил в лейб-гвардии Павловский полк. По окончании Императорской военной академии в 1848 г. был причислен к Генеральному штабу. В 1849 г. участвовал в военных действиях против венгров и при форсировании переправы через реку Тису у Токая был контужен ядром в голову; за отличия в Венгерском походе награждён орденами св. Анны 4-й степени «За храбрость» и св. Анны 3-й степени с мечами и бантом. Занимая различные должности по Генеральному штабу в пределах Петербургского военного округа, он 15 сентября 1864 г. был произведён в генерал-майоры и назначен помощником начальника штаба войск этого округа, в 1868 г. зачислен в свиту Его Императорского Величества.
30 августа 1873 г. произведён в генерал-лейтенанты, 17 апреля 1876 г. пожалован генерал-адъютантом к Его Императорскому Величеству и назначен начальником 24-й пехотной дивизии, с которой и отправился на европейский театр войны с Турцией. «Эта дивизия, — писал очевидец шипкинской обороны Н. Бороздин, — считалась почти равной гвардии, её командир был близок ко двору и, посылая своих солдат на перевал, он рекомендовал офицерам „не нежить нижних чинов и показать шипкинцам, как должен вести себя настоящий солдат“». В октябре 1877 г. дивизия прибыла на Шипку, а в ноябре начались сильные морозы и снежные ураганы, гибельно отозвавшиеся на дивизии, «щегольски одетой» и «воспитанной на строгой опеке», но обутой и одетой не для зимней кампании в горных условиях Балкан. Потеряв в течение месяца больными и ознобившимися в трёх полках 5425 человек, дивизия, получившая название «замёрзшей», 6 декабря 1877 г. была снята с шипкинской позиции. В. И. Немирович-Данченко сообщал: «В убогом соборе в Габрово лежали ряды солдат 24-й дивизии. Это были замерзшие мученики Шипки… Замерзнувшие потому что их жизнь никому не была дорога. Шаркунам, фразерам, карьеристам не было дела до этих сотен наших тружеников».
После Шипки Гершельман был назначен состоять в распоряжении главнокомандующего великого князя Николая Николаевича, а по окончании войны, формально оставаясь командиром 24-й пехотной дивизии (до 1880 г.), был прикомандирован к войскам гвардии и Петербургского военного округа; в 1894 г. отчислен в свиту Его Императорского Величества, в 1895 г. произведён в генералы от инфантерии. Имел ордена св. Станислава 1-й степени (1867 г.), св. Анны 1-й степени (1870 г.), св. Владимира 2-й степени (1871 г.), Белого Орла с мечами (1878 г.).
Умер 16 ноября 1898 г., похоронен на Никольском кладбище Александро-Невской лавры.
Сыновья Гершельмана также дослужились до генеральских чинов: Сергей Константинович (1854—1910) во время русско-японской войны командовал 9-й пехотной дивизией и затем был Московским генерал-губернатором; Фёдор Константинович (1853—не ранее 1927) был начальником штаба Варшавского военного округа и известным военным писателем. Владимир Константинович (1880—1934) — полковник.