Сын герцога Баварии Вильгельма IV и Марии Баден-Шпонхеймской.
В 1547 году Альбрехт женился на Анне Австрийской (1528—1590), дочери императора Фердинанда I. Целью союза было окончание политического соперничества между Австрией и Баварией. Из семи детей герцога выжили пятеро:
Альбрехт был опекуном детей его сестры Маргариты: Якобы Баденской, позднее герцогини Юлихской и Филиппа Баденского, позднее маркграфа Бадена-Бадена.
После смерти отца в 1550 году он стал герцогом Баварии.
Альберт получил образование в Ингольштадте у преподавателей-католиков. Он был одним из немногих немецких князей твердо стоящих на стороне католицизма и одним из руководителей немецкой контрреформации. Наблюдая серьёзную необходимость в церковной реформе, герцог принял помощь иезуитов. Именно в университете Ингольштадт, основанном Альбертом V, иезуиты впервые заняли серьёзные преподавательские должности. При нём колледжи появились в Ингольштадте, Аугсбурге и Мюнхене, особое влияние имел Пётр Канизий.
Герцог принимал непосредственное участие в делах государственного управления, но был подвержен влиянию своих советников, среди которых на начальном этапе его правления были два католика, Георг Стокхаммер и Вигулеус Хундт. Последний играл важную роль в событиях, приведших к подписанию Пассауского договора в 1552 и Аугсбургского мира в 1555 году. Альберт предпринимал усилия чтобы сделать своего сына Эрнеста архиепископом-курфюрстом Кельна. Это осуществилось только после смерти Альберта, однако в течение последующих двух столетий этот пост занимали баварские Виттельсбахи.
С 1560 года Альбрехт управлял также графством Глатц в качестве преемника своего дяди Эрнеста Зальцбургского, но продал его императору Максимилиану II в 1567 году.
Альбрехт был любителем искусств, меценатом и коллекционером и сделал Мюнхен одним из культурных центров Европы. Книги его личной библиотеки послужили основой для Баварской государственной библиотеки в Мюнхене. Он имел огромную коллекцию греческого и римского антиквариата, картин и монет. Для хранения своей коллекции герцог отвел Антиквариум в Мюнхенской резиденции, ставший крупнейшим залом произведений искусства Ренессанса к северу от Альп. Он пригласил ко двору Орландо ди Лассо и покровительствовал многим другим творческим личностям, что повлекло за собой возникновение немалых долгов.
Альбрехт V был похоронен в Фрауэнкирхе (Мюнхен). Преемником стал его сын Вильгельм.