После нескольких лет выступлений за молодёжные составы различных клубов, Ондржей Мазух в 2001 году перешёл в «Брно», где прошёл школу молодёжи, затем дубля и только потом основного состава команды, в котором он дебютировал в 2006 году. Уже после первого своего сезона в основе клуба, Мазухом заинтересовались различные европейские клубы, в числе которых были «Ювентус», «Арсенал», но спор выиграл клуб «Байер-04», предложивший 1,4 млн евро, с тем условием, что Мазух сможет играть за «Брно» до лета 2008 года.
Но летом 2007 года «Байер» принял решение всё же не покупать игрока, а потому клуб продал Мазуха итальянской «Фиорентине» за 2,8 млн евро, подписав 5-летний контракт, хотя другой конкурент за обладание чешским защитником, «Ювентус», предлагал на 1 млн больше. Мазух дебютировал в «Фиорентине» 11 декабря 2007 года в матче 1/8 кубка Италии против «Асколи», а затем сыграл и в ответной встрече 16 января 2008 года.
17 января 2012 года перешел в «Днепр», с которым подписал контракт на три с половиной года. Дебютировал за новый клуб 4 марта 2012 года в матче против «Шахтера».