Родился в с. Работки Макарьевского уезда, Нижегородской губернии в крестьянской старообрядческой семье, принадлежащих к Спасову согласию.
Первоначально на своей родине занимался судопромышленностью, потом увлёкся идеями странничества и на протяжении 13 лет странствовал, но в Нижнем Новгороде был взят полицией и как не имевший паспорта, препровожден на родину в село Работки.
В 1845 году переехал в Москву и здесь самоучкой изучил славянскую грамматику и поступил корректором в единоверческую типографию. В этой должности прослужил четыре года после чего 11 лет торговал книгами в Лыскове, после — в Нижнем Новгороде и в Казани.
В 1876 году с книготорговлей приехал на ярмарку в г. Вольск, где и скончался 23 мая 1876 года. Погребен на единоверческом кладбище.
По оценкам современников Е. Г. Перевощиков в области знания книг уступал лишь знаменитым в Москве торговцам Пискареву и Т. Ф. Большакову, и то лишь относительно книг южной печати, а книги московской печати знал лучше. В рукописях он знал толк лучше всех торговцев.
Основательное знание древней письменности, при большом уме, снискало Перевощикову знакомство и уважение людей ученых: так, он был знаком с М. П. Погодиным, с известным знатоком и собирателем старинных книг и рукописей В. М. Ундольским; его уважал также и пользовался его советами другой собиратель и владелец старинных и старопечатных и старописьменных книг А. И. Хлудов; в Казани с ним знакомы были профессора В. И. Григорович и Добротворский. Но особенно чтили Перевощикова старообрядцы-начетчики: E. C. Морозов; И. Е. Ксенос, автор «Окружного послания», и В. А. Сапелкин, ревнитель соединения старообрядцев с церковью.
Под влиянием Перевощикова и при деятельном его участии открылось пять единоверческих приходов в Костромской, Нижегородской и во Владимирской губерниях. Кроме того, Осиновский старообрядческий женский скит, относящийся к Спасову согласию и располагавшийся в Семеновском уезде Нижегородской губернии благодаря Перевощикову обратился в единоверческий.