Родился в семье типографского служащего. Стихи начал писать в 1910 (басни). В 1912 вместе с семьёй переехал в Одессу, где окончил гимназию. В 1917—1919 сошёлся с Ю. Олешей, В. Катаевым, Э. Багрицким, о котором после его смерти написал стихотворные мемуары «Весёлый странник»; через них, а позднее через Г. Шенгели приобщился к т. н. южно-русской (одесской) поэтической школе.
В 1922 перевёлся из Одесского университета на историко-филологический факультет МГУ (окончил в 1924). Занимался в семинаре профессора А. С. Орлова, специалиста по древнерусской литературе; написал дипломную работу на тему «Образ автора в „Слове о полку Игореве“», также выполнил поэтическое переложение «Слова» (опубл. 1938).
Участвовал в литературном объединении «Никитинские субботники», гостил в коктебельском Доме поэта у М. Волошина.
В середине июня 1928 вышел первый сборник стихотворений Тарловского «Иронический сад», вскоре принесший автору не только известность, но и первые обвинения в «непролетарскости».
Вторая книга стихотворений — «Почтовый голубь» (подготовлена в 1929) вышла в конце 1931 под заглавием «Бумеранг»: в угоду цензуре тексты многих стихотворений были «исправлены», состав сильно урезан, однако добавился раздел «актуальных» стихотворений о победах социализма в Средней Азии и стройках коммунизма. Всё это не спасло Тарловского от многочисленных нападок со стороны РАПП, в том числе от обвинений в шовинизме и близости к поэтике Н. Гумилёва.
Третьей книге — сборнику ура-патриотических стихов «Рождение родины» (1935) — суждено было стать последней. Избранное «Из трёх книг», подготовленное для «Библиотеки „Огонёк“», а также предложенный Гослитиздату в 1936 сборник «Борение иронии» не вышли в свет.
Со второй половины 1930-х до конца жизни, почти не печатаясь как оригинальный поэт, Тарловский работал для ГИХЛ при секции перевода с языков народов СССР. В годы Великой Отечественной войны исполнял обязанности русского литературного секретаря акына Джамбула, был основным «переводчиком» его военных стихотворений, в том числе знаменитого «Ленинградцы — дети мои!..». Также переводил европейских поэтов (П.-Ж. Беранже, В. Гюго, Г. Гейне, И. Красицкий, М. Конопницкая, К. Гавличек-Боровский), классиков поэзии Востока (Навои, Махтумкули), эпос («Манас», «Гесер», «Кобланды-Батыр» и др.).
Умер от гипертонического криза, упав на улице недалеко от своего дома и не получив своевременной медицинской помощи. Урна с прахом Тарловского захоронена в колумбарии Донского кладбища.