Эрнест Францевич Виррих родился 20 мая 1860 года в Одессе в мещанской семье. В 1878 году поступил в Академию художеств сначала на живописное отделение, а затем перешёл на архитектурное, которое окончил в 1890 году со званием классного художника 1-й степени.
В 1886—1887 годах работал помощником В. В. Шауба, в 1888—1894 годах — старшим техником, помощником архитектора П. Ю. Сюзора, выполнял чертежи и наблюдал за строительством зданий, возводимых по сюзоровским проектам.
В 1894—1896 годах был архитектором Строительного управления по постройке зданий для Всероссийской художественно-промышленной выставки в Нижнем Новгороде, где, в частности, по проектам А. Н. Померанцева возвёл павильоны Художественного отдела, отдела Средней Азии и Императорский павильон.
В 1898 году зодчий приступил к проектированию, а затем и строительству первого из трёх выполненных им крупных комплексов — Петербургского Политехнического института им. Петра Великого (1899—1902). Виррих возглавил специально созданную строительную комиссию. В её работе учитывались не только передовые архитектурные новации, но и функциональные требования, которые были изложены в программе, составленной ведущими учёными и инженерами.
В 1907 году при проведении международного конкурса проектов на здание универмага Гвардейского экономического общества Виррих с И. В. Падлевским получили 4-ю премию. Затем опытный строитель разработал окончательный проект и руководил его реализацией. В строительстве принимали участие Н. В. Васильев, Б. Я. Боткин, С. С. Кричинский Первая очередь торгового комплекса была построена в 1908—1909 годах. В советское время в этом здании располагался Дом Ленинградской Торговли.
В 1908 году Виррих был удостоен звания академика архитектуры.
После революции жил и работал в США (художником-экспертом в шёлковой индустрии).