Член партии большевиков с 1914 года, ЦК (1920—21, 1922—61); член Политбюро ЦК ВКП(б) (1932—52; кандидат 1926—30 гг.), член Оргбюро ЦК ВКП(б) (1922—28, 1939—46 гг.). Секретарь ЦК ВКП(б) (1924—25, 1935—46 гг). Член ЦИК СССР 1—7 созывов. Депутат Верховного Совета СССР 1—5 созывов (1937—1962).
Родился в крестьянской семье в Смоленской губернии. Получил образование в двухклассной сельской школе. C 1905 года в Москве. С 13 лет работал в трактире на мытье посуды и чистке самоваров. В 1911 из Москвы уехал на юг России, где кочевал из города в город, выполняя самую разную работу.
В 1914 году переехал в Санкт-Петербург, где поступил на артиллерийский склад рабочим в патронно-гильзовую мастерскую. Затем работал в страховых кассах Путиловского завода и фабрики «Скороход». В 1916 вошёл в Петербургский комитет большевиков.
С 1917 года член Петроградского комитета РСДРП(б).
Участник встречи В. И. Ленина на Финляндском вокзале 3 апреля 1917 года, присутствовал на торжественном собрании, организованном в ночь с 3 на 4 апреля в честь приезда вождя, участвовал в работе 7 (апрельской) конференции большевиков.
1917—1919 гг. провёл на партийной и профсоюзной работе на Урале и Украине. С 1919 г. член Президиума, в 1920—1922 гг. секретарь ВЦСПС. В 1921 году во время дискуссии о профсоюзах стоял на платформе Л. Д. Троцкого и Н. И. Бухарина.
В 1922—1927 гг. председатель ЦК профсоюза железнодорожников, одновременно в 1924—1925 гг. секретарь ЦК ВКП(б). В 1927—1930 гг. секретарь Северо-Кавказского крайкома партии.
С 1930 года председатель ЦКК ВКП(б), нарком рабоче-крестьянской инспекции СССР и заместитель Председателя СНК СССР.
С 2 октября 1931 г. по 28 февраля 1935 г. глава Народного комиссариата путей сообщения СССР.
Н. С. Хрущев считал, что
.
В конце 1938 года, после того, как Н. И. Ежов был отстранён от должности наркома, Андреев был председателем комиссии Политбюро по расследованию деятельности НКВД.
В 1935—1946 гг. секретарь ЦК ВКП(б), одновременно в 1938—1946 гг. Председатель Совета Союза Верховного Совета СССР, в 1939—1952 гг. Председатель КПК при ЦК ВКП(б) и в 1943—1946 гг. глава Народного комиссариата земледелия СССР.
В 1946—1953 гг. заместитель председателя Совета Министров СССР.
С 1953 г. член Президиума, с 1962 г. советник при Президиуме Верховного Совета СССР. В 1957—1962 гг. председатель Общества советско-китайской дружбы.
Похоронен на Новодевичьем кладбище в Москве. Могила на первом участке. Напротив могилы Андреева находится могила его жены Доры Хазан-Андреевой.
Награждён четырьмя орденами Ленина, орденом Октябрьской Революции и другими наградами.
Был женат на Доре Моисеевне Хазан-Андреевой (1894, Рига — 1961, Москва), член РСДРП с 1912 года. Долгое время работала в секретариате И. В. Сталина. Окончила Промакадемию, работала зам. наркома текстильной промышленности, директором НИИ. Депутат Верховного совета РСФСР. В 1948 году арестована.
Сын Владимир.
Дочь Наталья.