Полемон родился в благополучной семье, отец Филострат был влиятельным и состоятельным гражданином. В молодости Полемон вёл разгульную и расточительную жизнь, но однажды, когда ему было около тридцати лет, будучи навеселе, во главе таких же, как он, гуляк, случайно ворвался в школу Ксенократа. Ксенократ, несмотря на неожиданное шумное вторжение, невозмутимо продолжил лекцию, и его рассуждения заинтересовали Полемона. Через некоторое время он порвал со своим прошлым и стал вести умеренный образ жизни. Ксенократ стал для него образцом для подражания. Благодаря прилежанию и способностям, он был лучшим учеником школы и в 315 г. до н. э., после смерти Ксенократа, стал схолархом.
Полемон известен своей уравновешенностью, серьёзностью, самообладанием и передовыми убеждениями. Среди его учеников были Кратет Афинский, Крантор, Зенон Китийский и Аркесилай. Согласно Евсевию Кесарийскому, Полемон умер в 270/269 г. до н. э. (в других рукописях — 276/275 г. до н. э.) Диоген Лаэртский говорит, что он жил затворником в саду Академии и умер в преклонном возрасте от чахотки. Кратет наследовал руководство Академией.
Диоген Лаэртский сообщает, что по своим воззрениям он был близок к Ксенократу, и утверждал, что нужно упражняться в делах, а не в диалектических умозрениях, «выучить гармонику по учебнику, но без упражнений — это все равно что изумлять всех вопросами, не противоречить самому себе в распорядке собственной жизни». Ценил Софокла и Гомера. Говорил, что Гомер — это Софокл в эпосе, а Софокл — это Гомер в трагедии.
Согласно Диогену Лаэртскому, Полемон оставил несколько трактатов, но уже в словаре Суда (X век) сказано, что ни один не сохранился. Климент Александрийский цитирует его (или другого философа по имени Полемон): «В отношении жизни в согласии с природой» (др.-греч. ?? ???? ???? ??? ???? ????? ????). Подобный пассаж есть также у Цицерона, который говорил о Полемоне, который считает высшим счастьем жизнь в согласии с законами природы.