Родился 25 мая (6 июня) 1844 года в Таганроге в дачной местности под названием Франковка или Бароновка (позже — территория металлургического завода) названной в честь барона Отто Франка, градоначальника Таганрога в 1832-1843 гг. Семья Савицкого в то время проживала в здании мужской гимназии, где его отец, по профессии военный врач, работал первым гимназическим врачом после его выхода в отставку, а в Бароновке снимала дачу на лето.
Детские и юношеские годы будущего художника прошли в Таганроге. Впоследствии он писал: «Таганрог, Азовское море, родная моему сердцу Франковка согревают и поддерживают меня, картины родины вдохновляют мое художественное творчество». Интерес к живописи у Кости Савицкого проявился рано. Бывая с родителями на берегу моря или в Приазовской степи, он делал зарисовки с натуры. И в гимназии, куда мальчик был определён в десятилетнем возрасте, любимым занятием его были уроки рисования.
В пятом классе гимназии жизнь подростка резко изменилась: как-то неожиданно друг за другом умерли его родители. Костю забрал к себе брат отца, живший в Латвии, который стал его опекуном. Там Савицкий был определен в частный пансион, а после окончания курса в 1862 году он уехал учиться в Петербургскую Академию художеств.
Большое влияние на развитие таланта юноши и формирование его общественно-эстетических взглядов оказало общение с выдающимися представителями русской культуры — И. Е. Репиным, И. И. Шишкиным, В. М. Васнецовым, М. М. Антокольским, Стасовым, и другими.
Константин Савицкий вскоре становится одним из лучших учеников Академии. Его классные работы удостаиваются пяти серебряных медалей. В 1871 году за отличное исполнение конкурсной картины «Каин и Авель» на библейский сюжет Савицкий получает золотую медаль.
На рубеже 1870 и 1871 годов в России возникло «Товарищество передвижных художественных выставок». Оно формировалось под влиянием идей народничества. Основной темой творчества передвижников стала жизнь простого народа во всех ее драматических проявлениях.
После окончания Академии художеств и двухгодичного пребывания за границей К. А. Савицкий принимает самое активное участие в деятельности «Товарищества». «Ремонтные работы на железной дороге» — картина, которая стала одним из первых полотен, посвященных жизни нового для того времени класса рабочих.
О направленности тематики творчества К. А. Савицкого говорят названия его картин: «Погорельцы», «Темные люди», «На войну», «Пастух», «Крючник», «Спор на меже» и многие другие.
Более 20 лет отдал Константин Аполлонович педагогической деятельности. Он работал в художественных училищах Петербурга, Москвы, Пензы. В 1897 году ему было присвоено звание академика живописи. Среди многочисленных учеников художника был и его сын Георгий, впоследствии известный мастер, лауреат Государственной премии.
Умер в Пензе 31 января (13 февраля) 1905 года. Похоронен на Митрофановском кладбище в Пензе.
Картина «Ремонтные работы на железной дороге»
Почтовая марка СССР, 1955 год
Могила К. А. Савицкого на Митрофановском кладбище в Пензе