Родился в семье бедного чиновника. Окончив гимназию в Рязани (1838), поступил на юридический факультет Московского университета. Сблизился с А. А. Григорьевым и А. А. Фетом, познакомился также с П. Я. Чаадаевым, А. С. Хомяковым, Т. Н. Грановским.
В журнале «Отечественные записки» в 1840 году опубликовал первое стихотворение. Участвовал в студенческом альманахе «Подземные ключи».
По окончании университета (1844) жил в Одессе, затем получил назначение в Тифлис (1846), где служил до 1851 года. С 1851 года жил в Санкт-Петербурге, редактировал журнал «Русское слово» (1859—1860). Служил в Комитете иностранной цензуры, в Совете Главного управления по делам печати (1860—1896).
Умер в Санкт-Петербурге, похоронен в Рязани на территории Рязанского кремля.
Литературное наследие Полонского очень велико и неравноценно, включает в себя несколько сборников стихотворений, многочисленные поэмы, романы, рассказы.
Первый поэтический сборник — «Гаммы» (1844). Выпущенный в Одессе второй сборник «Стихотворения 1845 года» вызвал отрицательную оценку В. Г. Белинского. В сборнике «Сазандар» (1849) воссоздал дух и быт народов Кавказа. Небольшая часть стихов Полонского относится к так называемой гражданской лирике («Признаться сказать, я забыл, господа», «Миазм» и другие). Стихотворение «Узница» (1878) он посвятил Вере Засулич. На склоне жизни обращался к темам старости, смерти (сборник «Вечерний звон», 1890).
Среди поэм Полонского наиболее значительна поэма-сказка «Кузнечик-музыкант» (1859).
Писал также в прозе. Первый сборник прозы «Рассказы» вышел отдельным изданием в 1859 году. В романах «Признания Сергея Чалыгина» (1867) и «Женитьба Атуева» (1869) следовал И. С. Тургеневу. В основу романа «Дешёвый город» (1879) легли впечатления одесской жизни. Автор опытов в жанре мемуаров («Мой дядя и кое что из его рассказов»).
С 1860 году и до конца жизни на квартире поэта по пятницам собирались учёные, деятели культуры и искусства на встречах, получивших название «Пятницы» Я. П. Полонского.
Консерватор и православный, в конце жизни Я. П. Полонский выступал против критики церкви и государства со стороны Льва Толстого. В 1895 по поводу вышедшего за границей сочинения Толстого «Царство божие внутри вас» Полонский напечатал в «Русском обозрении» (№ 4—6) полемическую статью «Заметки по поводу одного заграничного издания и новых идей графа Л. Н. Толстого». После появления статьи Толстого «Что такое искусство?» Полонский также написал резкую статью. Это вызвало со стороны Л. Н. Толстого письмо с предложением о примирении: Толстому стало известно доброжелательное отношение Полонского к гонимым духоборам.
Полонский писал письма в защиту духоборов Победоносцеву, а также собирался писать воспоминания о них.