Место рождения зодчего точно не установлено: источники называют г. Гольдинген (Кулдига) Курляндской губернии или Петербург. Он был сыном художника. Дата переезда Рихтера в Петербург точно не известна, но с октября 1827 года он состоял рисовальщиком в чертёжной при строительстве Исаакиевского собора, являясь одновременно вольноприходящим учеником Академии Художеств.
В 1833 году Рихтер окончил Императорскую Академию художеств (ИАХ) и получил звание художника архитектуры 1 класса, после чего был включен в список пенсионеров (редкий случай для вольноприходящих учеников) и в мае 1834 года отправлен в поездку в Италию. Целью поездки было изучение архитектуры, а по её окончании необходимо было представить обмер или графическую реконструкцию какого-либо памятника архитектуры.
В сентябре 1839 г. Академия художеств присудила Рихтеру звание академика архитектуры, а в январе 1840 г. он стал членом Миланской Академии Художеств. С 1841 года являлся профессором ИАХ. В феврале 1841 года архитектор был откомандирован в Московскую Строительную комиссию и направлен на строительство Большого Кремлёвского дворца. В 1843 году Рихтер получил должность старшего архитектора по постройке Дворца и являлся автором проектов Владимирского и Александровского залов. Кроме того, он состоял членом совета по постройке Храма Христа Спасителя, а также заведовал строительством Оружейной Палаты.
В 1842—1865 годах был директором Московского дворцового архитектурного училища, а после этого — членом совета Московского училища живописи, ваяния и зодчества. В 1850 году в шести выпусках вышла книга Ф. Ф. Рихтера «Памятники древнего русского зодчества, снятые с натуры и представленные в планах, фасадах и разрезах замечательнейшими деталями каменной высечки и живописи», экземпляры которой хранятся в библиотеке Московского архитектурного института. Часть чертежей для издания была выполнена выпускниками Московского Дворцового архитекторского училища, но многие работы были сделаны Рихтером лично. В 1851—1856 годах была выпущена вторая редакция этого труда, к которому современники относились как «главному пособию архитекторов, проектирующих в русском стиле». В основу книги, содержащей схемы и чертежи уникальных древнерусских построек, легли результаты исследований архитектурных памятников Древней Руси.
Начиная в 1850-х годов Ф. Ф. Рихтер начал активную работу по реставрации архитектурных памятников. На его счету восстановление Боровицкой башни Московского Кремля, Ипатьевский монастырь в Костроме, Палаты бояр Романовых, стены Псковского Кремля и многие другие.