Роув родился в 1950 году в Денвере, штат Колорадо. В 1971 году, оставив Университет штата Юта, посвятил себя карьере. В 1973 году он стал работать помощником Джорджа Буша-старшего, а в 1979 году успешно провёл избирательную кампанию республиканца Билла Клементса, благодаря чему тот занял пост губернатора Техаса. В 1981 Роув основал фирму Karl Rove & Co., занимавшуюся рассылкой агитационных материалов и проведением избирательных кампаний политиков-республиканцев. В 1993 он выступил организатором губернаторской избирательной кампании Джорджа Буша, одержав победу над действующим губернатором-демократом Энн Ричардс. После объявления в 1999 году о намерении Буша баллотироваться на пост президента США Роув провёл успешную кампанию против его республиканского конкурента Джона Маккейна, а на президентских выборах 2000 года помог обойти Альберта Гора. В администрации Буша Роув был назначен на должность старшего советника президента. С 8 февраля 2005 по 31 августа 2007 года он также занимал пост заместителя главы администрации.
В 2003 году Роув был вовлечён в качестве подозреваемого в дело о раскрытии имени секретного агента ЦРУ Валери Плейм, и хотя обвиняемым в итоге был признан помощник вице-президента Льюис Либби, это дело серьёзно сказалось на репутации Роува. В конце августа 2007 года он ушёл в отставку, мотивировав это тем, что хочет посвятить себя семье.