Родился в семье рабочего. Детство провёл в деревне Нефёдово Серпуховского района.
В 1928 году окончил Серпуховскую железнодорожную школу, в 1933 году — Московский геодезический техникум. Работал землемером, затем топографом в Серпуховском районном земельном отделе. После окончания в 1937 году Московского техникума паровозного хозяйства имени Ф. Э. Дзержинского был заместителем начальника Серпуховского паровозного депо.
С 1938 по 1940 год служил в Красной Армии, был заместителем политрука роты.
В 1939 году вступил в ВКП(б). После демобилизации — снова в Серпуховском паровозном депо. В апреле 1941 года избран секретарём парткома железнодорожного узла станции Серпухов. С января 1942 года секретарь, затем второй, первый секретарь Серпуховского горкома ВКП(б).
С начала 1950 года заведующий отделом машиностроения Московского обкома партии. В 1952 году по предложению Н. С. Хрущёва был избран вторым секретарём Московского обкома партии.
С 1956 по 1967 год — председатель ВЦСПС. Сменил на этом посту Шверника, избранного председателем Комиссии партийного контроля при ЦК КПСС. С 1956 по 1967 год был вице-председателем Всемирной федерации профсоюзов. Являлся руководителем делегаций советских профсоюзов на 4-м (1957 год), 5-м (1961 год), 6-м (1965 год) Всемирных конгрессах профсоюзов.
В 1952—86 годах член ЦК КПСС. По поручению Президиума ЦК КПСС в октябре 1964 года подготовил, вместе с Л. Ф. Ильичёвым, текст заявления Н. С. Хрущёва об уходе на пенсию, которое Хрущёв и подписал. В 1967—1986 годах член Президиума Верховного Совета СССР. С 1961 года — кандидат в члены, в 1971—1986 годах — член Политбюро ЦК КПСС.
В июне 1967 года был избран первым секретарём Московского городского комитета КПСС.
На этом посту блокировал проект академика А. Александрова и куратора ВПК Д. Устинова по строительству АЭС недалеко от Москвы.
После смерти Черненко в 1985 году Гришин считался наиболее вероятным кандидатом на пост генерального секретаря ЦК КПСС, но был скомпрометирован показаниями расстрелянного в 1984 году директора московского магазина «Елисеевский» Ю. К. Соколова. После прихода к власти М. С. Горбачева был смещен с занимаемых постов.
Умер 25 мая 1992 года в районном собесе, куда пришёл оформлять пенсию. Похоронен в Москве на Новодевичьем кладбище.