Окончил Нью-Йоркский университет. С 1930-х гг. работал в области звукозаписи и радиодела, в 1937 г. основал собственный бизнес, с 1945 г. владелец фирмы «Fisher Radio». В течение 1950-х гг. Фишер изобрёл и внедрил в производство несколько важных технических новшеств: транзисторный усилитель, первый стереофонический аудиопроигрыватель и др. Это принесло Фишеру значительный коммерческий успех: в 1969 г. он продал свою фирму за 31 000 000 долларов США — и оставшуюся часть жизни занимался благотворительностью, главным образом, в области академической музыки. В 1973 г. он передал 10 500 000 долларов США Нью-Йоркскому филармоническому оркестру, в связи с чем основной концертный зал оркестра был переименован в Эвери-Фишер-холл. В 1974 г. Фишер учредил ежегодную Премию Эвери Фишера для американских исполнителей академической музыки, первоначально составлявшую 10 000 долларов (в настоящее время до 75 000).