Родился в эвакуации в Вологодской области. Отец по возвращении с фронта запил, и мать (фармацевт) с двумя детьми переехала в Ленинград. В детстве жил в центре, неподалёку от Дворцовой площади, позже жил на Васильевском острове недалеко от Смоленского кладбища.
С раннего возраста увлекался рисованием. Как отмечает исследователь творчества Григорьева Михаил Яснов: «Он должен был стать художником, но, по его собственным словам, „не отстоял себя как живописца“. В начале шестидесятых Григорьева изгнали из художественной школы при Академии художеств. Изгнали за то, что рисовал не то и не так. За то, что был насмешлив и скандален. За то, что имел особый взгляд, улавливающий смешную и трагичную алогичность жизни.»
В дальнейшем Григорьев работал сторожем, кочегаром, дворником. В 1961 году сочинил четверостишие «Я спросил электрика Петрова», ставшее известным «детским народным» стихотворением.
В 1971 году выпустил первую книжку детских стихов и рассказов под названием «Чудаки», ставшую популярной; по нескольким произведениям из неё («Гостеприимство», «Апельсин») были сделаны выпуски журнала «Ералаш». Многие его стихи вошли в питерский городской фольклор.
Его стихи отличаются афористичностью, парадоксальностью, элементами абсурда и чёрного юмора, из-за чего его часто ставят в один ряд с Хармсом и другими обэриутами. Однако от них Григорьев отличается большей непосредственностью, искренностью и детской ранимостью.
В начале 1970-х был осуждён на два года «за тунеядство», отбывал наказание на принудительных работах — строительстве комбината в Вологодской области. Об этом периоде поэт отозвался в одном из своих стихов:
Был досрочно освобождён. В 1975 принимал участие в известной выставке в ДК «Невский».
В 1981 году в Москве вышла вторая его детская книга — «Витамин роста». Стихи из неё вызвали негодование у некоторых представителей официальных литературных кругов, в частности у Сергея Михалкова, и Григорьев не был принят в Союз писателей СССР. В июне того же года в «Комсомольской правде» была напечатана статья «В чём повинны воробьи?» (название отсылает к одному из его стихотворений, «Сазон»), подвергающая Григорьева наряду с двумя другими поэтами резкой критике.
В 1985 году Леонид Десятников написал одноактную классическую оперу для детей, для солистов и фортепиано «Витамин роста» по одноимённой поэме Олега Григорьева. В 1988 году по этой же поэме был снят одноименный мультфильм (реж. Василий Кафанов)
Следующая книга Григорьева, «Говорящий ворон», вышла уже в перестройку, в 1989 году. В том же году он получил вторую судимость («за дебош и сопротивление милиции») с условным сроком; многие поэты и писатели выступили тогда в его защиту. За полгода до смерти был принят в Союз писателей.
Умер 30 апреля 1992 года в Санкт-Петербурге от прободения язвы желудка.
Похоронен в Петербурге, на Волковском кладбище. Уже после его смерти вышло несколько красочно оформленных книг с его произведениями, в том числе в переводе на немецкий и на французский язык.