В царствование Феодора Алексеевича (1676—1682) занимал ключевые посты в государстве; был возведён в ранг боярина, заведовал Пушкарским и Владимирским судным приказами.
В период правления царевны Софьи Алексеевны возглавил с 1683 года Посольский приказ. В это время внешнеполитическая обстановка для России была очень сложной — напряжённые отношения с Речью Посполитой, подготовка Османской империи, несмотря на Бахчисарайский мирный договор 1681 года, к войне с Российским государством, вторжение крымских татар в мае — июне 1682 года в русские земли.
Приступил к проведению активной внешней политики, направив в Константинополь чрезвычайное посольство, чтобы склонить Порту к союзу с Русским царством на случай войны с Польшей. Другое русское посольство — в Варшаве — работало над усилением противоречий между поляками и турками. Результатом стал отказ Польши и Турции от прямого выступления против Москвы.
Помимо укрепления связей со всеми европейскими дворами, уделял внимание отношениям с Китаем. При нём в 1689 году был заключён Нерчинский договор.
Исходил из представления о главной задаче российской внешней политики как укреплении русско-польских отношений, что обусловило временный отказ от борьбы за выход к Балтийскому морю. В 1683 году подтвердил Кардисский договор между Россией и Швецией. В 1683 году стал инициатором отказа России от предложения венского посольства о заключении имперско-русского союзного договора без участия Польши.
Длительные и сложные переговоры между Россией и Польшей завершились в 1686 году подписанием «Вечного мира», согласно которому Россия должна была объявить войну Турции. Под давлением польской стороны, пригрозившей разрывом отношений с Россией, в 1687 и 1689 годах организовал два больших похода (Крымские походы) к Перекопу против Крымского ханства. Эти походы, приведшие к значительным небоевым потерям, не перешли в военные столкновения, однако оказали косвенную помощь союзникам России, помешав татарам против них выступить.
После того, как Пётр I в 1689 году сверг Софью и стал де-факто единовластным государем, Голицын был лишён боярства, но не княжеского достоинства, и сослан в Пинегу, Архангельский край, где умер и был захоронен по завещанию в Красногорском монастыре.