Родился в семье крестьянина Пермской губернии в 1891 году. Образование — среднее неоконченное. Работать начал с 14-ти лет сцепщиком поездов, затем конторщиком. Участвовал в революционной деятельности. В 1905 г. был ранен в перестрелке с карательным отрядом, занявшим вокзал. Осуждён на четыре года каторги с заменой по несовершеннолетию тремя годами тюрьмы. После выхода из тюрьмы в 1911 выслан за пределы Иркутского генерал-губернаторства в г. Камышлов, откуда он скрывлся и нелегально перебрался на Дальний Восток, а затем в Москву.
Во время Первой мировой войны, скрываясь от призыва в армию, перешёл на нелегальное положение. В июне 1917 года был призван в армию и зачислен рядовым 12-го Сибирского запасного полка (Иркутск). Был избран в полковой комитет. В 1918 вступил в ВКП(б). Участвовал в Октябрьском перевороте в Москве. В 1918 году вступил в Красную армию.
В 1919 поступил на работу в ЧК. В июне-декабре 1919 — начальник Особого отдела Московской ЧК. Руководил арестами и следствием по делу Штаба Добровольческой армии Московского района. По результатам расследования члены Штаба были расстреляны. С января 1920 года — заместитель начальника Особого отдела Юго-Западного и Южного фронтов. Организатор следствия по делу «Комитета вызволения Украины». Принимал участие в проведении массового террора в Крыму после его захвата большевиками в ноябре 1920 года, за что был представлен к ордену Боевого Красного Знамени. В наградном списке отмечалось: «Во время разгрома армии ген. Врангеля в Крыму тов. Евдокимов с экспедицией очистил Крымский полуостров от оставшихся там для подполья белых офицеров и контрразведчиков, изъяв до 30 губернаторов, 50 генералов, более 300 полковников, столько же контрразведчиков и в общем до 12 000 белого элемента, чем предупредил возможность появления в Крыму белых банд».
По окончании гражданской войны назначен начальником секретного оперативного управления Всеукраинской ЧК. В 1922 году назначен полномочным представителем ОГПУ на Правобережной Украине. Позднее работал на руководящих постах в ГПУ-ОПГУ, начальником Секретно-политического отдела, занимавшегося борьбой с политическими противниками.
В 1932 году назначен полномочным представителем ОГПУ на Северном Кавказе. Участвовал в расследовании «шахтинского дела».
В январе 1934 назначен 1-м секретарём Северо-Кавказского крайкома, в 1937 — Азово-Черноморского, затем Ростовского обкомов ВКП(б). С 1934 — член ЦК ВКП(б). С 1937 — депутат Верховного Совета СССР.
В мае 1938 переведён на должность заместителя наркома водного транспорта СССР. 9 ноября 1938 арестован, 2 февраля 1940 Военной коллегией Верховного Суда СССР приговорён к смертной казни и расстрелян на полигоне «Коммунарка». В 1956 г. посмертно реабилитирован и восстановлен в партии.
В 1935—1939 гг. село Красногвардейское (Ставропольский край) называлось Евдокимовское.