Футбольную карьеру начал в клубах второй лиги Краснодарского края. На высшем уровне выступал за украинский «Кремень» (Кременчуг), российские «Спартак» Москва, «Жемчужину» Сочи, «Аланию» Владикавказ, «Черноморец» Новороссийск, «Сатурн»-Ren TV Раменское.
Сыграл два матча за сборную Белоруссии.
После ухода из «Спартака» права на Коваленко выкупили у клуба частные лица, из-за чего футболист был вынужден за два года сменить большое количество клубов. В 1999 году трансферный лист Коваленко выкупила «Алания».
Для карьеры Коваленко было характерно несдержанное поведение на поле и грубые нарушения режима, за что он получил прозвища «анфан террибль» и «самый скандальный российский футболист».
27 октября 2008 года в матче второго дивизиона «Сочи-04» — «Олимпия» Волгоград на 76-й минуте ударил арбитра встречи Сергея Тимофеева кулаком в лицо, что могло привести к двухлетней дисквалификации Коваленко и судебному иску со стороны Тимофеева, который получил сотрясение мозга.
10 ноября 2008 год Российский футбольный союз сделал в понедельник специальное пояснение в связи с дисциплинарными санкциями в отношении Коваленко. Согласно решению Контрольно-дисциплинарного комитета РФС от 7 ноября Константину Коваленко запрещено заниматься любой, связанной с футболом деятельностью (в том числе принимать участие в любых соревнованиях под эгидой РФС, заниматься тренерской деятельностью и занимать любые посты в футбольных клубах) сроком на один год.
По состоянию на начало 2010 года живёт в Краснодаре.
Старший брат Андрей также футболист.