В 1929 году по решению Черниговского окружного комитета партии был направлен на следственную работу в окружную прокуратуру, где в том же году становится старшим следователем. В 1937—1938 гг. — прокурор Донецкой области, в 1938—1940 гг. — прокурор Сталинской области. Во время Большого террора был членом тройки УНКВД по Донецкой области.
С 1942 — заместитель прокурора УССР, в 1944—1953 — прокурор УССР. Главный обвинитель от СССР на Нюрнбергском процессе (1945—1946 гг.), входил в состав суда в процессе шестнадцати (1945).
Генеральный прокурор СССР в 1953—1981 годах.
С 1951 года депутат Верховного Совета СССР. С 1956 года кандидат в члены, с 1961 года являлся членом ЦК КПСС.
В 1953 году вёл следствие по делу Л. П. Берия.
После 1956 года принимал участие в реабилитации жертв сталинских репрессий. В 1960 году был государственным обвинителем на процессе Ф. Пауэрса.
В 70-е годы готовил для Политбюро ЦК КПСС документы по преследованию диссидентов (иногда совместно с Ю. В. Андроповым).
Похоронен на Новодевичьем кладбище в Москве.