Окончил Женевский университет (1921), ученик Ш. Балли; позднее изучал японский и хинди в Школе живых восточных языков в Париже. Получил докторскую степень в Женевском университете в 1929 г. за оригинальное исследование по теоретической лингвистике под названием «Грамматика ошибок». Преподавал в Пекине (1933—1934) и в Токио (1934—1938), работал в Гонконге (1938—1939). С 1940 года — в Женевском университете, профессор (1945—1969), преподавал сравнительную грамматику, санскрит и общее языкознание. Секретарь Женевского лингвистического общества (1940—1945), один из издателей журнала «Cahiers Ferdinand de Saussure».
Число публикаций Фрея сравнительно невелико, тематика их разнородна (французский язык, восточные языки, которые он хорошо знал, и др. проблемы). В историю лингвистики он вошёл прежде всего благодаря своей ранней (и единственной) книге «Грамматика ошибок» (1929, русский перевод 2006), в которой практически впервые в лингвистике обратился к серьёзному комплексному изучению языковых «ошибок» (точнее, отступлений от того, что принято считать языковой нормой). Основным материалом для этой работы Фрею послужили письма французских солдат из плена, отразившие многие черты французского просторечия начала XX века.
Фрей не только провозгласил нарушения языковой нормы таким же законным объектом исследования, как и нормативные тексты, но и дал классификацию типов «ошибок» и предложил функциональные объяснения их возникновению. В его работе справедливо подчёркивается, что нарушение нормы — неизбежное следствие изменений языка и отражение потребности говорящих в новых языковых средствах взамен старых (выражение Фрея «ошибки делают не ради удовольствия» стало впоследствии знаменитым).
Взгляды Фрея на язык в целом сформировались в рамках Женевской школы структурализма (в особенности под влиянием Балли), но его «Грамматика ошибок» остаётся уникальным опытом, значение которого выходит далеко за рамки структуралистского (синхронно-статичного) понимания языка. В определённом смысле, Фрей может рассматриваться как предшественник современной функционально-когнитивной «лингвистики речи» и корпусных методов исследования.