Среднее образование получил в классической гимназии при Историко-филологическом институте, которую окончил с золотой медалью в 1881 году. В том же году поступил на медицинский факультет Киевского университета, а затем перевёлся на 3-й курс Санкт-Петербургской Военно-медицинской академии, которую окончил с отличием в 1887 году, со степенью лекаря, был награждён премией имени Пальцева и оставлен «врачом для усовершенствования» в клинике психиатрии и нервных болезней под руководством профессора И. П. Мержеевского.
В 1890 году в Санкт-Петербурге успешно защитил диссертацию «Материалы к учению о зависимости фосфорного обмена от усиленной или ослабленной деятельности головного мозга» на степень доктора медицины, и с 1891 до 1894 г. командирован за границу — усовершенствовался у Э. Дюбуа-Реймона (у него же ранее учились И. М. Сеченов и И. П. Павлов, Флексига, В. Вундта, Штрауса, Франсуа, Франка и в Сальпетриере у Ж. Шарко. В 1894 г. был избран одновременно приват-доцентом Военно-медицинской академии и профессором Варшавского университета по кафедре нервных болезней.
В 1911 г. по состоянию здоровья поселился в Севастополе, где с 1914 г. стал во главе вновь выстроенного Романовского Института физических методов лечения (ныне перемещённый на Южный берег Крымский республиканский научно-исследовательский институт физических методов лечения и медицинской климатологии имени И. М. Сеченова Министерства здравоохранения автономной республики Крым), руководя им в течение 20 лет, до дня своей смерти. Изучал гальванизацию и электрофорез, создал свою оригинальную физиотерапевтическую школу, разработал ряд новых методов физиотерапии (шейная диатермия, воротниковый и поясной методы, методы ионных и регионарных рефлексов, новые методы исследования эндокринной и вегетативной нервной систем и т. д.). Электрическая йод-ионная проба, предложенная Щербаком, широко применялась в экспериментальных исследованиях.