Происходил из польского аристократического рода. Сын министра внутренних дел и наместника Галиции Агенора Голуховского Старшего.
Долгие годы находился на дипломатической службе: в 1872 г. назначен атташе в Берлине, затем советник посольства в Париже, в 1887—1893 годах — посол Австро-Венгрии в Румынии. С 1875 г. член палаты господ рейхсрата. В 1893 г. на некоторое время удалился в своё имение в Янове.
В связи с успешной работой на дипломатическом поприще с мая 1895 года назначен министром иностранных дел и императорского дома.
Голуховский проводил в осторожную, в целом консервативную политику, избегал проявлять инициативу в решении вопросов, как и активных действий. В то же время его работу можно назвать успешной. Он подготовил австро-российское соглашение от апреля 1897 года о сохранении статус-кво на Балканах, что привело к разрядке напряжённости и в регионе, и между двумя странами. При нём улучшились отношения Австро-Венгрии с Великобританией и Италией. В 1897 и 1900 годах Голуховский сумел с Италией обсудить и решить албанский вопрос. В октябре 1906 года Голуховский, по требованию Венгрии, ушёл в отставку.
В 1907 году возглавил так называемый «польский клуб» — влиятельную польскую фракцию в рейхсрате. Во время Первой мировой войны активно выступал с лозунгом триализма — превращения дуалистской Австро-Венгерской монархии в триалистскую, Австро-Венгеро-Польскую, с включением в её состав русской Польши. С этой целью в 1915 году посещал оккупированную Варшаву.