Павел Андреевич Колзаков родился в городе Туле 18 июля 1779 года в семье дворян Тульской губернии. Его младший брат Андрей (1780—1853) был генерал-майором и директором Тульского кадетского корпуса, другой брат, Владимир, был мичманом.
В 1790 году поступил в Морской кадетский корпус, из которого выпущен 23 апреля 1795 года мичманом в Балтийский флот.
В 1795—1796 годах Колзаков плавал в Финском заливе, в 1797 году командирован в Архангельск на строившийся там фрегат «Азия» и по окончании строительства отплыл на нём к эскадре вице-адмирала Тета в Англию, а затем, состоя в отряде контр-адмирала Карцова, ушёл в Средиземное море на соединение с эскадрой адмирала Ушакова. C 1798 по 1801 год принимал участие в военных действиях флота адмирала Ушакова в Средиземном море.
В кампании 1805 года против Наполеона принимал участие в десанте русских, шведских и английских войск на остров Рюген.
В 1808—1809 годах участвовал в войне со Швецией, командуя отрядом лодок на Сайменском озере. В 1808 году Барклай-де-Толли приказал ему перетащить с моря в озеро Калавеси, у Куопио, двенадцать канонерских лодок для оказания помощи войскам, находившимся у Куопио; Колзаков успешно выполнил это поручение и оказал отряду существенную помощь.
После войны командовал яхтой «Нева», выстроенной для великого князя Константина Павловича; в 1811 году назначен ротным командиром во вновь сформированный гвардейский экипаж, произведён в чин капитан-лейтенанта и назначен флигель-адъютантом цесаревича.
Сопровождая повсюду великого князя, Колзаков во время Отечественной войны 1812 года участвовал в сражении при Бородине и за отличие получил чин капитана 2-го ранга.
В Заграничном походе сражался при Бауцене и был удостоен ордена св. Анны 2-й степени; в Кульмском сражении лично ему сдался Вандам, за это дело он был награждён золотым оружием с надписью «За храбрость» и особым немецким Железным крестом. Затем он находился в Битве народов у Лейпцига, за отличие в которой получил орден св. Владимира 4-й степени. При истреблении французской гвардии при Фершампенуазе Колзаков также отличился и 26 января 1815 года был удостоен ордена св. Георгия 4-й степени
В 1815 году произведён в капитаны 1-го ранга. В 1825 году награждён орденом св. Станислава 1-й степени и в следующем году произведён в контр-адмиралы.
В день восстания в Варшаве 17 ноября 1830 года состоял все время при цесаревиче и по выходе его из Варшавы назначен комендантом временной Главной квартиры; 6 декабря 1830 года Колзаков был произведён в вице-адмиралы, а после кончины цесаревича Константина Павловича назначен генерал-адъютантом (25 июня 1831 года).
С 1834 года занимал должность дежурного генерала Главного морского штаба Его Императорского Величества, в 1843 году произведён в адмиралы, в 1846 году назначен членом Адмиралтейств-совета и в 1847 году — членом Александровского комитета о раненых.
9 февраля 1853 году Колзаков был лишён звания генерал-адъютанта и получил отставку за упущения в делах Комитета и «бездействие власти», давшие возможность директору канцелярии комитета А. Г. Политковскому, произвести крупную растрату; но император Александр II по воцарении вернул его 21 мая 1855 года на службу и 17 ноября снова назначил генерал-адъютантом. 26 августа 1856 года Колзаков был удостоен ордена св. Александра Невского с алмазными знаками.
Колзаков скончался в Санкт-Петербурге 1 сентября 1864 года, похоронен на кладбище Воскресенского Новодевичьего монастыря, из служебных списков исключён 17 сентября.
После себя Колзаков оставил любопытные записки, фрагмент которых, посвящённый взятию в плен генерала Вандама, был опубликован в журнале «Русская старина» в 1870 году («Рассказы адмирала Павла Андреевича Колзакова», I том, с. 207—215).
Его сыновья: Константин (отставной генерал-майор) и Николай. Известный деятель Белого движения генерал-майор Пётр Николаевич Колзаков (1857—1937) приходился Павлу Андреевичу внуком.