Из крестьянской семьи. Отец занимался кузнечным ремеслом, а мать владела небольшими кирпичными сараями. С детских лет Болдырев помогал отцу в кузнице, а матери - на кирпичном сарае. Первоначальное образование получил в приходской, а затем четырёхклассной городской школе. В 15 лет выехал в Пензу, где поступил в Пензенское землемерное училище, которое окончил в 1893. Скопив денег, Болдырев поехал в Петербург, где сдал экзамены и поступил в военно-топографическое училище, которое окончил по 1 разряду. В 1895 году был выпущен подпоручиком (ст. 23.09.1895) в корпус военных топографов.
Проведя три года на военно-топографических съёмках в Эстляндии и Лифляндии и прослужив полтора года в Красноярском полку в Юрьеве, поступил в Николаевскую академию Генерального штаба. В 1903 году окончил академию по первому разряду.
Участник русско-японской войны. Был ранен в ногу при штурме Новгородской (Путиловской) сопки на реке Шахэ. Оправившись от раны, вернулся на фронт, где пробыл до окончания войны. Обер-офицер для особых поручений при штабе 4-го армейского корпуса (08.12.1904-28.10.1906).
C 28 октября 1906 — старший адъютант штаба 18-го армейского корпуса. С 8 сентября 1907 — ст. адъютант штаба 20-го армейского корпуса. Подполковник (ст. 06.12.1908). С 29 марта 1909 — штаб-офицер для поручений при штабе 20-го арм. корпуса.
С 1911 преподавал в Академии Генерального штаба. В 1914 защитил диссертацию на тему «Атака укрепленных позиций», после чего был назначен экстраординарным профессором.
В августе 1914 выступил на фронт в качестве и.д. начальника штаба 2-й гв. пехотной дивизии. За бои в октябре 1914 под крепостью Ивангород награждён Георгиевским оружием (ВП 31.01.1915), а за бои под Едвабно в 1914-15 — орденом Св. Георгия 4-й степени (ВП 29.05.1915). С 8 марта 1915 — командир 30-го пехотного Полтавского полка. Генерал-майор (ст. 26.06.1915). С 29 февраля 1916 — генерал для поручений при командующем 4-й армией, с 8 сентября 1916 — генерал-кварт. штаба армий Северного фронта.
После Февральской революции 19 апреля 1917 назначен командиром 43-го армейского корпуса. Генерал-лейтенант (29.04.1917). 9 сентября 1917 сменил генерала Ю.H. Данилова на посту командующего 5-й армией..
После Октябрьской революции 12 ноября 1917 г. в Двинск, где находился штаб 5-й армии приехал назначенный большевиками Верховным главнокомандующим Н.В. Крыленко. Болдырев отказался явиться к Крыленко после чего по приказу Крыленко был арестован отрядом ВРК за непризнание советской власти. Находился в заключении в Трубецком бастионе Петропавловской крепости и в «Крестах». Был освобожден 2 марта 1918 года по амнистии. В 1918 году входил в руководство «Союза возрождения России», член «Национального центра».
Генерал Казанович, отправленный вождем Добровольческой армии ген. Алексеевым в Москву для установления связи с антибольшевистскими военными организациями так описал свою встречу с Болдыревым летом 1918 года:
В начале августа 1918 г. Болдырев прибыл в Самару.
На Уфимском Государственном Совещании Болдырев был выбран одним из 5 членов Временного Всероссийского правительства (Уфимской директории). Главнокомандующим войсками Директории. Во время Омского переворота один из членов Кабинета министров предложил его кандидатуру на пост Верховного правителя России, без ведома и согласия Болдырева. После событий 18 ноября и прихода к власти адмирала А. В. Колчака, отказался от командования и выехал в Японию.
Вернулся в начале 1920 во Владивосток, где 23 марта 1920 года был назначен на должность председателя комиссии при военном совете Приморской областной земской управы по разработке военных и военно-морских законопроектов. Командующий сухопутными и морскими силами Дальнего Востока (08.04. — 12.12.1920). Член военного совета Временного правительства Дальнего Востока (с 17.04.1920). Председатель особого комитета по организации работы для демобилизуемых военнослужащих (с 28.05.1920). Управляющий военными и морскими делами Временного правительства Дальнего востока (с 01.07.1920). Председатель российской делегации по Русско-японской согласительной комиссии (с 1 июня 1921). Член (с 07.07.1921), товарищ председателя (с 26.07.1921) Приамурского народного собрания.
Остался во Владивостоке, и после его захвата Красной армией, 5 ноября 1922 арестован. В тюрьме заявил о своей готовности служить советской власти. Летом 1923 был амнистирован.
Занимался преподавательской деятельностью. Работал в Новосибирске в Сибирской плановой комиссии консультантом, а с 1927 года – руководителем конъюнктурного бюро. Председатель секции «Недра» Общества изучения Сибири. Осенью 1928 года был уволен с работы в крайплане. Работал научным сотрудником Западносибирского института промышленных экономических исследований.
Член авторского коллектива Сибирской Советской энциклопедии.
29 декабря 1932 (по другим данным в августе 1933) арестован по подозрению в контактах с японской разведкой, по другим данным - обвинению в организации контрреволюционного заговора. Расстрелян 20 августа 1933 года.