Альфред Флатов родился 3 октября 1869 года в Данциге, но вскоре он с семьёй переехал в Берлин. Будучи юношей, он вступил в спортивный клуб «Deutsche Turnerschaft». С 1888 года Флатов участвовал в различных местных соревнованиях, многие из которых он выигрывал. В 1890 году, в 21 год, он стал учителем гимнастики. В 1896 году он получил приглашение участвовать на I Олимпийских играх 1896, и вместе с другими 10 членами сборной, включая его двоюродного брата Густава Флатова поехал в Афины.
Участвую в играх, он стал трёхкратным Олимпийским чемпионом. Вместе со своей командой, он побеждал в упражнениях на брусьях и перекладине. Кроме того, он стал индивидуальным чемпионом в состязаниях на брусьях. Участвуя в упражнениях на перекладине, он занял второе место и выиграл серебряную медаль. Помимо этого, Флатов участвовал в соревнованиях на кольцах, коне и в опорном прыжке, но не занял призового места.
Благодаря своим четырём медалям, три из которых золотые, он занял третье место среди самых результативных спортсменов, уступив лишь своим соотечественникам Герману Вайнгертнеру и Карлу Шуману.
После игр он решил завершить свою профессиональную карьеру, однако по прежнему имел большое влияние в гимнастике. В 1903 году он основал клуб «Judische Turnerschaft», гимнастический клуб для евреев, это была первая еврейская спортивная организация (Альфред Флатов по национальности был евреем). Также, он выпускал брошюры по методике гимнастики. Кроме того, он владел велосипедным бизнесом, который основал вернувшись с игр в Берлин.
После прихода нацистов к власти в 1933 году, он попал в опалу и ему запретили заниматься гимнастикой. Несмотря на это, его пригласили на летние Олимпийские игры 1936 в Берлине, но он отказался от этого. 3 октября 1942 года, в его день рождения, его отправили в концентрационный лагерь в чешском городе Терецине, где он умер от голода 28 декабря того же года. В том же лагере, через три года, умер его двоюродный брат Густав.
В 1997 году, в Берлине, в честь Альфреда и Густава Флатовых, была переименована улица Райхспортсфельд в бульвар Флатова, эта улица находится неподалёку от Берлинского Олимпийского стадиона. Также, в честь них назван один из спортивных залов германской столицы, на нём установлена памятная табличка братьев. Кроме того, в 1976 году почта Северной Кореи выпустила марки с изображением гимнастов, а в честь столетия Олимпиады, в 1996 году, немецкая почтовая фирма Deutsche Post также выпустила марки Флатовых.