Происходил из потомственных дворян Ярославской губернии. В 1902 окончил Пажеский корпус, служил в лейб-гвардейском Егерском полку, участвовал в Первой мировой войне. С конца 1916 служит в Генеральном штабе, в январе 1917, в чине полковника, командирован за границу. После октябрьского переворота принимает решение не возвращаться в Россию. С 1920 живёт в США.
В конце 1920-х годов (или несколько позже) был избран председателем Нью-йоркского русского Общества искусств и литературы, в 1937 — вице-председателем Американского Пушкинского комитета. Работал также в нескольких частных компаниях.
Стал публиковаться уже в США, хотя писать стихи начал ещё в России. Дебютировал в 1924 в первом коллективном сборнике русских американских поэтов «Из Америки» (вместе с В. Ильяшенко, Д. Магула и Е. Христиани), куда, наряду с другими стихами Голохвастова, вошли около двух десятков септетов, или полусонетов — эту стихотворную форму, впервые применённую Владимиром Ильяшенко, Голохвастов в своём творчестве довёл до совершенства. В 1931 он издал целый том «Полусонетов», включивший триста септетов.
В 1938 вышло в свет главное произведение Голохвастова — эпическая поэма «Гибель Атлантиды» с иллюстрациями А. Н. Авинова. Поэма проникнута историческими, философскими, теософскими, оккультными, мифологическими аллюзиями и доктринами. Поэма восходит как к европейским образцам эпического жанра — «Божественной комедии», «Освобождённому Иерусалиму», «Фаусту», — так и к произведениям Ницше, Шопенгауэра, Вл. Соловьёва, Тютчева.
Стихотворения 1930-х гг. вошли в сборники «Жизнь и сны» (1943) и «Четыре стихотворения» (1944). Также в 1944 году в «Новом журнале» опубликована поэма-стилизация «Святая могила», основанная на старинной крымской легенде.
Из поэтических переводов Голохвастова до недавнего времени были известны лишь перевод знаменитого стихотворения «Ворон» Э. А По (сб. «Четыре стихотворения») и переложение «Слова о полку Игореве» (1950). В сборник «Жизнь и сны» вошли переводы из Гейне, Шамиссо и др.