Константин Яковлевич родился в дворянской семье. Его отцом был черниговский дворянин Яков Артемович Михайловский. Окончил Первый Кадетский корпус, прикоммандирован к Михайловскому артиллерийскому училищу, участвовал в Крымской Войне, произведен в подпоручики в 1858 году.
Долгие годы Константин Яковлевич трудился на благо Отечества, создавая инфраструктуру России, которая ей была так необходима, шла ли речь о торговле пшеницей и экспорта ее в Европу как в случае Мариинской Водной Системы, или перевозке грузов и пассажиров из западных областей России через Сибирь на Восток и обратно, как в случае Транссиба.
Константин Яковлевич был похоронен на Никольском кладбище Александро-Невской Лавры в Санкт-Петербурге. К величайшему сожалению его могилу пока не удается отыскать.
За свою долгую службу Константин Яковлевич был награждён орденами:
Константину Яковлевичу было оказано Высочайшее благоволение за сооружение императорского пути от Санкт-Петербурга до Царского села и Императорской станции в Санкт-Петербурге. За огромную работу и вклад в развитие железных дорог К. Я. Михайловский становится почетным гражданином городов Челябинска и Галича. В 1905 Константин Яковлевич назначен членом Совета Министра Путей Сообщения. 24 февраля 1907 Государь Император Николай Александрович жалует К. Я. Михайловскому чин действительного тайного советника.
Константин Яковлевич Михайловский выведен под именем Елецкого в неоконченной повести Гарина-Михайловского «Вариант» (1888-1890, первая публикация – 1910).
В повести рассказывается об изыскательских работах перед началом постройки железной дороги «Самара — Уфа — Златоуст», где инженер Николай Георгиевич Михайловский (Михайловский 2-й в служебных документах, будущий писатель) служил под началом своего однофамильца Константина Яковлевича Михайловского (Михайловского 1-го).