Ф. В. фон Эрдмансдорф родился в семье саксонского придворного, барона Эрнста Фердинанда фон Эрдмансдорфа. Учился в Рыцарской Академии Дрездена (1750—1754), затем — в Виттенбергском университете (1754—1757). Одним из учителей Эрдмансдорфа был архитектор Ф. Шинкель.
В университете молодой архитектор познакомился с князем (позднее — герцогом) Ангальт-Дессау, Францем, с которым был дружен всю жизнь. В 1758 году Эрдмансдорф поступил к князю на службу. Целью Франца Ангальт-Дессауского, одного из наиболее последовательных сторонников Просвещения в Германии, было создание настоящего царства архитектурной и парковой гармонии, исполнить которую он и поручил своему другу Эрдмансдорфу.
Между 1761 и 1775 годами архитектор совершил поездки в Италию, Голландию, Англию, Францию, Швейцарию. Большое влияние на него оказали творчество шотландских зодчих Роберта Адама и Уильяма Чамберса, а также архитектура английского классицизма. В 1786 году Эрдмансдорфа вызвал прусский король Фридрих Вильгельм II, и он до 1789 года работал в Берлине и Потсдаме.
С 1786 Эрдмансдорф — почётный член берлинской Королевской Академии искусств и механических наук. В 1789—1790 годах вновь совершил путешествие в Италию. После возвращения, в 1791, предпринял совместно с князем Францем поездку по средней и южной Германии. Ф. В. фон Эрдмансдорф был масоном, членом лейпцигской ложи Минерва трёх пальм.