Родился в семье трактирщика. Окончил сельскую школу в Бородино, учился в реальном училище в Можайске. В конце 1917 г. Жаров с товарищами организует кружок по культурно-просветительной работе. С 1918 — секретарь комсомольской ячейки. В 1918—1925 Жаров — на руководящей комсомольской работе, сначала в Можайске, затем в Москве, в ЦК РКСМ. В 1920 вступил в партию. В 1921 учился на факультете общественных наук МГУ. В октябре 1922 — один из основателей объединения комсомольских писателей «Молодая гвардия». Во время войны — корреспондент журнала «Краснофлотец».
Поэзия Жарова был широко известна в молодёжной среде 1920-40-х гг. О его поэме «Гармонь», исключительно популярной в своё время, Михаил Светлов в конце жизни писал:
И пусть они обнимутся, как сёстры, —
Моя «Гренада» и твоя «Гармонь».
Известен также как поэт-песенник. Вошёл в историю советской массовой песни как автор произведений: «Взвейтесь кострами» (муз. С. Кайдана-Дёшкина), «Заветный камень» (муз. Б. Мокроусова), «Грустные ивы» (муз. М. Блантера) и др.