Футбольную карьеру он начал в местном «Этыре». В дальнейшем защитник сменил очень много клубов. Лучше всего Иванов играл за софийский ЦСКА, где стал двукратным чемпионом Болгарии, и в венском «Рапиде», в котором сыграл в финале Кубка кубков 1996 в Брюсселе. Карьеру Иванов закончил в небольшом клубе ФАК из Вены.
Сейчас владеет сетью АЗС в родном Великом Тырнове.
За сборную Иванов дебютировал в 1988 году. В дальнейшем стал одним из её основных игроков. Участвовал в ЧМ-1994, ЧЕ-1996 и ЧМ-1998. В отборочном матче к ЧМ-1998 в Софии забил решающий гол, который вывел болгар на чемпионат мира.