Полемий происходил из галло-римской аристократии. Предположительно был потомком историка Тацита и поэта Авсония. Был женат на Аранеоле.
По меньшей мере два года (471—472) был преторианским префектом Галлии.
Разделял идеи неоплатнизма. Известно несколько писем Сидония Аполлинария, адресованных Полемию. В частности, Сидоний упрекал его, что Полемий не писал ему все время нахождения в должности префекта и задавался вопросом не связано ли это с тем, что Сидоний был избран епископом.