Выходец из бедной крестьянской семьи. Некоторое время воспитывался в детском доме, с 14 лет жил в городе Чердынь, работал продавцом, счетоводом в леспромхозе, в Осоавиахиме. С 1932 — сотрудник ОГПУ, первоначально на технических должностях: счетовод, делопроизводитель, фельдъегерь, инспектор связи. В 1935 временно был уволен из органов с формулировкой «как привлеченный к уголовной ответственности за совершение преступления до работы в органах НКВД», однако в том же году восстановлен на службе.
С 1938 — на оперативной работе: помощник оперуполномоченного, оперуполномоченный 5-го отделения 4-го отдела УГБ УНКВД по Свердловской области. Тогда же Грибанов окончил трехмесячные курсы усовершенствования оперативного состава. Член ВКП(б) с 1939. С 1939 — на ответственных постах в УГБ УНКВД и УНГКБ по Свердловской области: следователь, старший следователь следственной части, начальник отделения секретно-политического отдела, начальник отделения, затем — заместитель начальника контрразведывательного отдела. Последовательно носил специальные звания сержанта государственной безопасности (1939), младшего лейтенанта ГБ (1941), лейтенанта ГБ (1942), старшего лейтенанта ГБ (1943). В 1943 в результате унификации специальных званий НКВД и воинских званий, получает звание майора госбезопасности. С 1943 — заместитель начальника следственной части, с 1944 — начальник следственного отдела УНГКБ по Свердловской области, с 1945— заместитель начальника УНКГБ (с марта 1946 года — УМГБ) по Свердловской области. С 1947 — замначальника УМГБ по Хабаровскому краю, с 1950 — начальник УМГБ по Ульяновской области.
С 1951 полковник Грибанов — заместитель начальника 2-го Главного управления (ВГУ) МГБ СССР (c марта 1954 — КГБ). В 1953 возглавлял группу по пересмотру дела т. н. «сионистской организации в МГБ»(все обвинявшиеся по этому делу чекисты вышли на свободу). Генерал-майор (1956). С 14 апреля 1956 — начальник 2-го Главного управления и член Комитета государственной безопасности (с 1959 года эта должность именовалась «член Коллегии КГБ при СМ СССР»). Во время подавления Венгерского восстания координировал действия советских контрразведчиков на территории Венгрии. В числе наиболее громких операций Грибанова на посту шефа советской контрразведки — массированное внедрение подслушивающих устройств в посольства США и Великобритании в Москве, вербовка посла Франции в СССР Дежана (1956), разоблачение Петра Попова — первого агента ЦРУ в советской военной разведке (1959) и разоблачение и поимка Олега Пеньковского (1961—1962). Под руководством Грибанова проходило также знаменитое «дело валютчиков» (1962). В 1961 Грибанову было присвоено звание генерал-лейтенанта.
В феврале 1964 на Запад бежал непосредственный подчиненный Грибанова, сын бывшего министра судостроительной промышленности СССР, заместитель начальника 7-го отдела 2-го главного управления Юрий Носенко. В мае того же года Грибанов был снят с должности и получил строгий выговор по партийной линии. С 1965 — заместитель директора завода № 1134 по режиму и охране Министерства среднего машиностроения СССР (ныне ФГУП «ПО „Старт“», город Заречный), впоследствии занимал незначительные руководящие должности на различных промышленных предприятиях (начальник отдела технического обслуживания Казанского завода ЭВМ, впоследствии — НПО «Конус» при КГБ и т. п.).
В августе 1965 года был исключен из КПСС и лишен звания «Почётный сотрудник госбезопасности».
Вместе с соавтором Владимиром Востоковым (Петроченковым) под псевдонимом Олег Шмелев опубликовал повести «По следу „Одиссея“», «Ошибка резидента» (1967), «С открытыми картами» (1968), «Возвращение резидента» (1979), по которым снят известный киносериал Вениамина Дормана с Георгием Жженовым в роли Тульева (Шмелев и Востоков выступили также в роли авторов сценария). В соавторстве с Востоковым написан также сценарий фильма Кольцо из Амстердама. Кроме того по некоторым сведениям Грибанов (под псевдонимом «Андрей Нечаев») является соавтором Сергея Михалкова в пьесе «Круглый стол с острыми углами» (1968). Без соавтора написал детективную повесть «Ключи».
Идентификация личности «Олега Шмелева» произошла лишь в 90-е годы.
Существует версия, что именно Грибанов был прототипом начальника советской разведки генерала Грубозабойщикова в романе Яна Флеминга «Из России с любовью».