В 1857 году закончил Императорскую Академию художеств по классу профессора К. А. Тона с золотой медалью и правом на пенсионерскую поездку за границу для продолжения обучения. В ходе заграничной поездки архитектор Испанию, Францию и Италию. В 1862 году на Парижской выставке был отмечен золотой медалью за участие в составлении проекта реставрации дворца Альгамбра в Гранаде.
По возвращении в 1864 году в Санкт-Петербург К. К. Рахау сразу же получил звание академика архитектуры. В 1866 году был принят в Техническо-строительный комитет Министерства внутренних дел, а в 1867 году перешел в Строительное отделение Санкт-Петербургского губернского правления. В это же время Рахау начал преподавательскую деятельность в Императорской Академии Художеств, где в 1870 году получил звание профессора архитектуры и стал членом Совета Академии. С 1871 года К. К. Рахау служил в Городской управе.
В 1880 году К. К. Рахау уехал на лечение в Висбаден. На обратном пути у архитектора случился приступ психического расстройства, от которого он вскоре скончался.