Родился в станице Каменская (сейчас город Каменск-Шахтинский Ростовской области) в семье зажиточного казака. Окончил 4 класса окружного мужского училища, затем учился в реальном, в 1916 году поступил в Каменскую учительскую семинарию. Участвовал в Гражданской войне, в марте 1918 года записавшись добровольцем в Красную армию. В 1920 году вступил в РКП(б). Работал в каменской газете «Красный казак». Переехав в город Бахмут, становится ответственным секретарем газеты «Всероссийская кочегарка». Познакомившись с приехавшими из Петрограда писателями Михаилом Слонимским и Евгением Шварцем, совместно с ними в 1923 году организовывает издание литературно-художественного приложения к газете — журнал «Забой» (первый номер вышел в сентябре того года). В 1925 году, уже будучи опытным редактором, Олейников получает от ЦК ВКП(б) назначение в Ленинград, в газету «Ленинградская правда». Работает в редакции детского журнала «Новый Робинзон», созданного Самуилом Маршаком.
В 1926—-1928гг. сотрудничает с различными ленинградскими и московскими журналами, занимается организацией детского радиовещания. В 1928 году Олейников становится редактором нового «Ежемесячного журнала» для детей («ЁЖ»), в котором регулярно публиковались Корней Чуковский, Борис Житков, Виталий Бианки, Михаил Пришвин, Евгений Шварц, а также поэты группы «ОБЭРИУ» (Даниил Хармс, Александр Введенский, Николай Заболоцкий), к которой примкнул и сам Олейников. Свои произведения в журнале «ЁЖ» он чаще всего публиковал под псевдонимом «Макар Свирепый».
С начала 1937 года Олейников возглавляет издание ещё одного детского журнала «Сверчок», а 3 июля того года он был арестован как «участник контрреволюционной троцкистской организации» и 19 ноября приговорён к расстрелу. Олейников был расстрелян 24 ноября 1937 года в Ленинграде. По одному делу с Олейниковым были расстреляны ленинградские востоковеды, обвинённые в шпионаже, в том числе японист Н. А. Невский; поэт был знаком с некоторыми из них. Захоронен на Левашовской пустоши. Реабилитирован посмертно в 1957 году. Тогда же его вдова получила в ЗАГСе справку, что её муж умер «от возвратного тифа 5 мая 1942 года». Эта недостоверная дата вошла во многие биографические справочники и энциклопедии.
Олейниковым была создана сложная самобытная поэтика, за внешним примитивизмом которой крылась тонкая и подчас провокативная ирония относительно советского официоза и изысканная пародия не только на поэтов-графоманов, но и на Александра Пушкина и на своего товарища по ОБЭРИУ Николая Заболоцкого. Литературная деятельность Олейникова включает также инсценировки для детского театра, либретто оперы «Карась» для Д.Д. Шостаковича, сценарии (совместно с Евгением Шварцем) фильмов «Разбудите Леночку» (1934), «Леночка и виноград» (1935).
Через 60 лет после его смерти, в 1997 году, харьковский композитор и режиссер Алексей Коломийцев написал рок-оперу «Вивисекция» по мотивам его стихотворений-притчей о маленьких животных.