Из дворян Эстляндской губернии. 10 ноября 1784 записан в службу сержантом в Нашебургский пехотный полк и в 1788 получил чин прапорщика. 24 июня 1788 произведён в поручики и переведён во 2-й канонирский полк. Воевал с турками в 1787—1791 гг., и с поляками в 1792 и 1794 г., будучи во 2-м канонирском полку. В 1797 зачислен в 10-й артиллерийский батальон и 4 ноября 1799 пожалован в полковники.
С 1804 г. по 1808 г. находился в эскадре вице-адмирала Д. Н. Сенявина в Средиземном море (Вторая Архипелагская экспедиция), где сражался с французами и турками. В генерал-майоры произведён 16 марта 1808, будучи командиром 13-й артиллерийской бригады. 31 марта 1808 назначен командиром Киевского артиллерийского гарнизона и Полоцкого запасного артиллерийского парка.
До августа 1812 г. Бухгольц командовал артиллерией 7-го пехотного корпуса, затем — всей 1-й Западной армии. Дважды ранен под Смоленском. Отличился при Тарутине и под Красным. Участвовал в кампании 1813 г.
С 25 августа 1813 командовал всей резервной артиллерией в Варшаве. После окончания военных действий — начальник артиллерии 6-го пехотного корпуса, затем — командовал артиллерией 2-й армии. 28 декабря 1817 уволен «за болезнью» с мундиром и пенсионом половинного жалования.