Родился в Венгрии, в еврейской семье. В юности переехал в Веймар и поступил в «Баухаус», где остался преподавать. В 1920-е Бройер преимущественно занимался дизайном мебели, именно тогда им был создан знаменитый стул «Василий» (1925), посвящённый художнику Василию Кандинскому. «Василий» был изготовлен из холста и стальных трубок, использование которых было подсказано автору рулём велосипеда.
В конце 1920-х Бройер переехал в Берлин, чтобы заняться архитектурой. По его проектам были построены дома в Висбадене и Цюрихе. После прихода к власти Гитлера зодчий, будучи иудеем, эмигрирует в Лондон (1933) и США (1937). Под впечатлением от работ английских модернистов Бройером был создан «Длинный стул» из фанеры. В Нью-Йорке Бройер вновь занялся преподаванием, познакомился с Ф. Джонсоном и Бэем Юймином, создал несколько совместных с Гропиусом архитектурных проектов.
В 1941 г. Бройер создал собственное бюро, занявшись преимущественно проектированием жилых домов. Среди его нововведений этого периода — «двухъядерный дом» (с отдельными крыльями для спален и остальных комнат) и «крыша-бабочка». В 1953 г. архитектор выиграл конкурс на проектирование штаб-квартиры ЮНЕСКО в Париже, которое стало важной вехой в развитии брутализма. В 1960-е и 1970-е годы Бройер продолжил строительство крупных зданий из железобетона, его шедеврами стали здание Музея американского искусства в Нью-Йорке (1966) и небоскрёб AT Tower в Кливленде (1971).
Архитектор был дважды женат и имел двух детей.
Бройер умер в 1981 г. Тем не менее, выставки его дизайнерских работ проводятся до сих пор, а идеи «Баухауса» сохраняют влияние и в 21 веке.