Православный. Из дворян Петербургской губернии. Поступил в 3-е Александровское военное училище, откуда переведён в Михайловское артиллерийское училище, которое окончил в 1876 году. Выпущен подпоручиком (10 августа 1876) в 3-ю конно-артиллерийскую батарею. Переведён прапорщиком (30 августа 1877) в гвардии конно-артиллерийскую бригаду. Подпоручик (16 апреля 1878). Поручик (12 апреля 1881).
В 1884 г. окончил Николаевскую академию Генерального штаба по первому разряду. Состоял при Петербургском военном округе. С 15 ноября 1884 — старший адъютант штаба 2-й гвардейской пехотной дивизии. Цензовое командование ротой отбывал в лейб-гвардии Егерском полку (8 декабря 1886 — 23 октября 1887). С 9 мая 1889 — обер-офицер для поручений при штабе войск гвардии и Петербургского военного округа. Подполковник (21 апреля 1890). С 21 мая 1890 — старший адъютант штаба войск гвардии и Петербургского ВО. Полковник (17 апреля 1894). Цензовое командование батальоном отбывал в лейб-гвардии Егерском полку (29 апреля — 09 сентября 1894).
С 28 сентября 1898 — начальник штаба 2-й гвардейской пехотной дивизии. С 20 июня 1901 — командир 145-го пехотного Новочеркасского полка. С 10 мая 1903 — командир Павловского лейб-гвардии полка. Генерал-майор (10 мая 1903).
Во время событий 9 января 1905 Щербачёв командовал особым гвардейским отрядом, состоявшим из двух батальонов лейб-гвардии Преображенского, двух батальонов лейб-гвардии Павловского полков и батальона лейб-гвардии Артиллерийской бригады. Отряд Щербачёва разогнал рабочую демонстрацию на Невском проспекте. Участвовал в подавлении беспорядков в Кронштадте и бунта в лейб-гвардии Сапёрном батальоне. Был назначен в Свиту Его Величества.
С 23 июня 1906 — начальник 1-й Финляндской стрелковой бригады.
С 24 января 1907 — начальник Николаевской военной академии. Под руководством генерала Щербачёва в академии были проведены реформы с учетом опыта русско-японской войны и привлечены новые, молодые, талантливые преподаватели, в том числе полковники Головин, Незнамов, Болдырев, Кельчевский и др. Генерал-лейтенант (29 ноября 1908).
С 1912 — командир 9-го армейского корпуса, вступил с ним в Первую мировую войну.
Корпус Щербачёва участвовал в Галицийской битве в составе 3-й армии Юго-Западного фронта. После успешных боёв на Золотой и Гнилой Липе генерал Щербачёв проявил инициативу и овладел Львовом, за что был награждён орденом Св. Георгия 4-й степени. В середине сентября 1914 возглавил осадный отряд (6,5 дивизий), осуществлявший осаду крепости Перемышль. 24 сентября (7 октября) провёл неудачный штурм крепости, нанося основной удар у Седлиски. 25 сентября (8 октября) к крепости начали подходить полевые австро-венгерские войска, и 9 сентября (8 октября) осадный отряд генерала Щербачёва был расформирован.
5 апреля 1915 года генерал Щербачёв был назначен командующим 11-й армией на Карпатах. Армия была создана на Юго-Западном фронте между 8-й армией Брусилова и 9-й армией Лечицкого. Первоначально в армию вошли XXII и XVIII АК. Против армии Щербачёва развертывалась Южная германская армия Линзингена. Под командованием генерала Щербачёва армия участвовала в Карпатской операции и стратегическом отступлении 1915 года, начавшемся после Горлицкого прорыва. Щербачёву удалось благополучно отвести свою армию на Днестр и нанести сильный контрудар Южной германской армии. За эту частную победу во время общего отступления генерал Щербачёв был награждён орденом Св. Георгия 3-й степени.
В октябре 1915 года был произведён в генералы от инфантерии, назначен генерал-адъютантом и командующим 7-й армии Юго-Западного фронта. Под его командованием 7-я армия одержала ряд побед на реке Стрыпе во время Брусиловского наступления летом-осенью 1916 года.
После Февральской революции, в начале апреля 1917 года был назначен помощником короля Фердинанда I, главнокомандующего армиями Румынского фронта, созданного в декабре 1916 г. в связи с разгромом румынской армии и необходимостью предотвратить угрозу для южных российских территорий. Фактически генерал Щербачёв являлся главнокомандующим армиями фронта — в подчинении у него находились четыре русские и две румынские армии.
В июле 1917 г. русско-румынские войска фронта нанесли поражение австро-германским войскам под Мэрэшти, однако генералу Щербачёву не удалось развить этот успех из-за телеграммы председателя Временного правительства Керенского, потребовавшего остановить наступление в связи с прорывом немцев у Тарнополя. В июле-августе 1917 г русско-румынские войска с успехом отразили под Мэрэшешти наступление 11-й германской армии фельдмаршала Макензена.
После Октябрьского вооружённого переворота в Петрограде генералу Щербачёву удалось на некоторое время сдержать разложение войск фронта под воздействием революционных событий и большевистской агитации. Щербачев добился того, что фронтовой комитет 30 октября 1917 принял решение о непризнании советской власти.
В конце 1917 года была налажена связь между штабом фронта и генералом М. В. Алексеевым, прибывшим на Дон, куда стекались противники советской власти. В результате на Румынском фронте возникла идея о создании Корпуса русских добровольцев для последующей его отправки на Дон. В начале ноября 1917 г в Яссах из офицеров, не признавших введение выборного начала в армии и украинизацию местных воинских частей, была создана организация, целью которой стало формирование надёжного отряда, способного стать основой для создания новой всероссийской армии. Организация эта впоследствии объединила не только офицеров, но и солдат. Её работой в первое время руководил сам генерал Щербачёв.
Французские военные представители на Румынском фронте (в городе Яссы находился штаб генерала Бертло) решили поддержать генерала Щербачёва в борьбе против советской власти. Ему было разрешено начать мирные переговоры с австро-германцами. 20 ноября (3 декабря) 1917 генерал Щербачёв обратился к фельдмаршалу Макензену и эрцгерцогу Иосифу с предложением немедленно начать переговоры о перемирии. Переговоры начались через два дня и закончились 26 ноября (9 декабря) в Фокшанах заключением перемирия между объединёнными русско-румынскими и германо-австрийскими войсками. Это позволило Щербачёву приступить к подавлению большевистского влияния в армии. В ночь на 5 (18) декабря он поручил войскам, верным Центральной раде, занять все штабы. За этим последовало разоружение румынами тех частей, в которых было сильно влияние большевиков. Оставшись без оружия и продовольствия, русские солдаты были вынуждены в жестокий мороз пешком уходить в Россию.
В декабре 1917 румынские войска с согласия генерала Щербачёва вторглись в Бессарабию — под предлогом охраны русских и румынских границ и поддержания порядка и спокойствия в тылу Румынского фронта. В январе 1918 г между советскими войсками и румынами начались боевые действия. Румынская дивизия, перебравшаяся на левый берег Днестра, была разгромлена. Мирные переговоры закончились 5 марта подписанием договора в Яссах. Румыния обязалась очистить Бессарабию. Однако на помощь Румынии пришла Германия. В тот же день румынское правительство подписало договор с Австро-Венгрией и Германией, одним из условий которого была передача Бессарабии Румынии.
13 января 1918 г. Щербачёв постановлением СНК РСФСР объявлялся «врагом народа» и ставился «вне закона».
18 апреля 1918 Щербачёв отказался от должности и сообщил об этом союзным послам в Яссах. После этого он уехал в имение, предоставленное ему румынским королем.
В ноябре 1918 после капитуляции Германии прибыл в Бухарест, где вступил в переговоры с представителем союзного командования ген. Анри Бертело. На этой встрече Щербачёву был вручён Большой крест Почетного легиона.
Добился согласия Бертело на помощь белым войскам. 30 декабря 1918 прибыл в Екатеринодар, где был назначен военным представителем русских армий при союзных правительствах и союзном Верховном командовании. 3 января 1919 встретился с атаманом Красновым, договорился с ним об объединении сил Донской армии Краснова и Добровольческой армии Деникина.
В начале января 1919 через Сербию и Италию прибыл в Париж. Создал представительство (с участием генералов Палицина и Гермониуса), ведавшее снабжением белых армий, пытался формировать добровольческие части из русских военнопленных. В феврале 1919 г адмирал А. В. Колчак подтвердил должность Щербачёва. Выехав 27 мая 1919 из Парижа вместе с М. С. Аджемовым и В. В. Вырубовым, Щербачёв прибыл 8 июня в Екатеринодар в ставку Деникина, где ему удалось склонить Деникина к признанию верховной власти адмирала Колчака.
В мае 1920 из-за разногласий с генералом бароном П. Н. Врангелем относительно приемлемости совместных действий с Польшей отказался от должности и был заменён генералом Е. К. Миллером. Исходя из оценки международной обстановки, Щербачёв считал, что отказ в помощи полякам более соответствует интересам Белого движения: по его мнению, в случае полного разгрома поляков Красной Армией Франция для защиты Польши могла бы прийти к необходимости выставить большую армию против советских войск и начать масштабные боевые действия, либо победившая Красная Армия была бы отвлечена в Польше или даже Германии. И в том, и в другом случае положение Русской армии Врангеля сильно бы облегчилось. Поэтому Щербачёв советовал Врангелю не начинать наступление, отвлекая на себя советские силы с польского фронта.
В 1920 году переехал в Ниццу, где жил на пенсию, назначенную ему румынским правительством. Монархист-легитимист, член Государева Совещания при Великом князе Кирилле Владимировиче (Императоре Кирилле I).
Скончался 18 января 1932 года в Ницце. Похоронен с отданием воинских почестей батальоном французских альпийских стрелков на русском кладбище Кокад. На похоронах присутствовали главнокомандующий румынской армией маршал Презан, представитель французской армии генерал Вари, генералы Юденич, Томилов, Витковский, Масловский, Постовский и др.
Российской Империи:
Иностранных государств:
Приказом № 7 от 4 сентября 1919 года Щербачев объявил о награждении 17 солдат и офицеров Русского легиона во Франции Георгиевскими наградами «за оказанные ими подвиги на французском фронте». Седьмым в списке значился ефрейтор, будущий Маршал Советского Союза, Родион Малиновский, награжденный Георгиевским крестом III степени. Об этой награде Р. Я. Малиновский так и не узнал: в момент издания приказа он уже воевал, как и многие его однополчане по Русскому легиону, после возвращения на родину на Дальнем Востоке в составе Красной армии.