Персы считали его главным инициатором плана завоевания Греции, так как он рассчитывал стать сатрапом завоёванной страны. Однако поход Мардония (492 до н. э.) провалился. Перейдя через Геллеспонт в сопровождении большого флота, он сумел занять о. Фасос и некоторые части Македонии, но затем у Афонского мыса буря уничтожила 300 его кораблей, тогда как фракийское племя бригов потрепало армию, оставшуюся без поддержки.
В результате Мардоний попал в опалу у Дария; но с воцарением Ксеркса он вновь оказывается приближенным к персидскому царскому двору и активно участвует в организации знаменитого похода на Элладу. Покидая Грецию осенью 480 до н. э., Ксеркс назначил Мардония сатрапом Греции и командующим оставленным войском.
Мардоний перезимовал в союзной персам Фессалии, тщетно пытаясь дипломатически путём расколоть греческую коалицию (он предлагал Афинам союз против Спарты). Не добившись благоприятного ответа от Афин, он весной вторгся в Аттику, вновь занял Афины и сжег в них дотла все, что оставалось нетронутым после Ксеркса. Однако известия о подходе сильного спартанского войска заставили его отступить на границы Беотии, где им у реки Асоп было построено деревянное укрепление. Здесь Мардоний проявил себя как разумный полководец, пытаясь использовать свое главное преимущество — конницу — и с её помощью отрезать греческую армию от источников снабжения и воды. Это ему практически удалось; однако последовавшая затем битва при Платеях закончилась гибелью Мардония (сражавшегося с особым мужеством, отмеченными греками; ему разбил камнем голову некий спартанец Аимнет) и полным истреблением и пленением его войска.