Родилась в 1937 году в городе Балмайн, пригороде Сиднея, в рабочей семье. В 14 летнем возрасте начала заниматься плаванием. В 1956 году в составе сборной Австралии отправилась на первые для себя Олимпийские игры, на которых ей удалось выиграть две золотые награды в заплыве на 100 метров и эстафете 4х100, причем в составе эстафетной команды Даун Фрейзер установила первый для себя мировой рекорд. В 1958 году спортсменка выиграла золотые медали Игр Содружества, позже повторила результат в 1962 году. На Олимпийских играх 1960 года, помимо золота в заплыве на 100 метров, Фрейзер выигрывает две серебряные награды в эстафетных гонках на 100 и 400 метров. Третья для спортсменки Олимпиада 1964 года в Токио поимо очередной золотой медали на стометровке приносит серебряную медаль в эстафете 4 х 100. В возрасте 31 года ушла из большого спорта, некоторое время работала в собственной гостинице, с 1988 по 1991 годы пробовала свои силы в политике, в настоящий момент является членном совета директоров регбийной команды Балмайн Тайгерс.