Родился 11 июня (30 мая) 1850 года в дворянской семье. Учился в Николаевском кавалерийском училище (1870). Выпущен в лейб-гвардии Уланский Его Величества полк. Окончил академию Генерального штаба в 1877 году.
В качестве обер-офицера при штабе 13-го армейского корпуса участвовал в русско-турецкой войне 1877—1878. После заключения мира до 1880 служил в Болгарии: для поручений штабе командующего войсками; начальник отделения Российского комиссара; штаб-офицер для поручений при военном министре, член Главного военного суда; начальник Софийского военного отдела.
С 08.1880 по 07.1881 командир эскадрона лейб-гвардии Кирасирского Его Величества полка. Затем служил на различных штабных должностях. С 26 декабря 1890 командир 12-го драгунского Мариупольского полка, с 27.01.1893 окружной генерал-квартирмейстер штаба Виленского военного округа. С 23.06.1895 начальник Николаевского кавалерийского училища, с 30 июня 1899 - 2-й кавалерийской дивизии, с 20.11.1901 - войскового штаба войска Донского. С началом волнений Царстве Польском 7 марта 1905 назначен комендантом Варшавской крепости, но в том же году 4 июля 1905 переведен на пост командира 13-го армейского корпуса. С 1906 помощник командующего войсками Виленского военного округа. Генерал от кавалерии (ст. 06.12.1907). С 17.03.1909 командующий войсками Московского военного округа.
При мобилизации на базе управления Московского военного округа было создано командование 5-й армии, командующим которой 19.07.1914 назначен Плеве. За действия армии во время Галицийской битвы Плеве награжден орденом Святого Георгия 4-й степени (ВП 18.09.1914). 07 ноября 1914 в ходе Лодзинской операции Плеве было поручено руководство всеми русскими войсками в районе Лодзи. 14 января 1915 Плеве получил формируемую на Ломжинском направлении 12-ю армию. В мае 1915 управление армии переброшено на Риго-Шавельское направление с базами - Рига и Двинск. Вскоре управление переименовано в 5-ю армию. 8 июня 1915 года Плеве назначен командующим 5-й армией. 6 декабря 1915 сменил генерала Рузского на посту главнокомандующего армиями Северного фронта. По состоянию здоровья 10 февраля 1916 освобожден от командования, а 5 февраля 1916 назначен членом Государственного совета. Умер в Москве 10 апреля (28 марта) 1916 года. Похоронен на Московском городском Братском кладбище.
Из Иллюстрированного журнала «Искры Воскресенье» от 3 апреля 1916 года: