В 1799 году поступил кадетом в Морской кадетский корпус. Весной 1807 года произведен в чин гардемарина. В 1809 году произведен в чин мичмана. На корабле «Берлин» плавал до Ревеля. В 1814 году произведен в чин лейтенанта. В том же году плавал на фрегате «Архипелаг» у берегов Голландии и Франции. В 1816 году на фрегате «Аргус» плавал по Балтийскому морю. Весной 1817 года произведен в чин капитан-лейтенанта и назначен помощником начальника Камчатки капитана 1-го ранга П. И. Рикорда.
6 декабря 1826 года Голенищев произведен в чин капитана 2-го ранга и назначен начальником Камчатки. 28 сентября 1828 года вступил в должность начальника. Отлично узнав условия жизни и положение Камчатки за довольно длительный срок проживания на полуострове, Голенищев подаёт на Высочайшее рассмотрение две записки: «Об улучшении Петропавловского порта и положении служащих» и «О преобразовании Камчатского края». По рассмотрению этих «Записок» работал особый комитет, и, к сожалению, предложения Голенищева, за редким исключением, не были приняты. Но по его ходатайству создаётся Камчатская земледельческая компания, основной целью которой было «…увеличение хлебопашества, лесоводства, скотоводства , производство огородных овощей». В 1829 году Голенищев был произведен в чин капитана 1-го ранга. В период его правления были построены оранжереи с теплицами, создана библиотека, построены три больницы, наведен порядок в торговых делах, уничтожена зависимость местного населения от купечества. По его же распоряжению в 1830 году была сделана опись восточного берега Камчатки от Авачи до мыса Лопатки штабс-капитаном корпуса штурманов флота Ильиным, и в 1831 году он же описал Авачинскую губу и берег от неё до мыса Шипунского. 17 января 1835 года уволен от должности начальника Камчатки.
В 1837 году произведен в чин генерал-майора и назначен командиром 2-й бригады Балтийских ластовых экипажей. Весной 1850 года произведен в чин генерал-лейтенанта. В 1851 году избран действительным членом Императорского Русского Географического общества. В 1859 году был уволен в отставку с производством в чин полного генерала.