С 1922 по 1930 год учился в Ленинградском электротехническом институте имени В. И. Ульянова (Ленина). 1924 год — монтёр в аккумуляторной лаборатории, позже практикант, техник и руководитель работ на заводе. К 1938 году — доктор технических наук, профессор, крупнейший специалист в области теоретической и прикладной акустики. В начале 50-х годов переехал в Москву и, объединив несколько разрозненных групп, создал и возглавил Институт проблем передачи информации Академии наук СССР. Он возглавлял этот институт вплоть до своей кончины. С 1965 и, по крайней мере, до 1988 институт возглавлял член-корреспондент АН СССР В. И. Сифоров. В 2004 году институту присвоено имя А. А. Харкевича.
Мера Харкевича — мера оценки целесообразности информации, предложенная А. А. Харкевичем: , где — вероятность достижения цели до получения информации; — вероятность достижения цели после получения и использования информации.