Родился 11 (24) января 1899(18990124) в селе Васильевское (ныне в городской черте Рыбинска). Окончил четырёхклассное училище в родном селе (ныне школа № 7).
В РККА с 1919 года. Участник Гражданской войны, красноармеец. Член КПСС с 1918 года.
В ходе Великой Отечественной войны с июня 1941 года заместитель начальника штаба Южного фронта, с сентября 1941 года командующий 9-й армией Южного фронта, с июля 1942 года командующий 6-й армией Воронежского, позже Юго-Западного фронта.
При непосредственном участии Харитонова подготовлены и проведены Ростовская операция, Сталинградская битва, Острогожско-Россошанская операция, Донбасская наступательная операция, Харьковская оборонительная операция и некоторые другие. Умер 28 мая 1943 года от тяжёлой болезни.
Его имя носило Ярославское военное пехотное училище. Монумент генералу установлен в городе Рыбинске, скульптор М. Г. Манизер. 6 мая 2007 года на родине Фёдора Михайловича Харитонова на берегу реки Волги в селе Васильевское был воздвигнут памятник в честь героя.