Окончил Кишиневскую гимназию с золотой медалью. Окончил Факультет восточных языков и Юридический факультет Императорского Санкт-Петербургского университета с золотой медалью.
С ноября 1855 года на дипломатической службе в Азиатском департаменте МИД.
С 1855 года — коллежский секретарь.
В 1856—1861 годах — младший секретарь миссии в Греции.
В 1861—1864 годах — младший секретарь миссии в Болгарии.
С 1862 года — камер-юнкер.
В 1864—1869 годах — старший секретарь миссии в Болгарии.
С 1864 года — надворный советник.
В 1869—1874 годах — старший секретарь посольства в Вене.
С 1871 года — статский советник.
С 1872 года — камергер.
В 1874—1877 годах, в преддверии русско-турецкой войны 1877—1878 годов, состоял советником русского посольства в Константинополе (Османская империя), тайно прибыл в Бухарест для ведения с румынским премьер-министром И. Братиану секретных переговоры о конвенции, разрешавшей бы проход русских войск в случае войны с Османской империей.
С 1875 года — действительный статский советник.
Во время войны был начальником дипломатической канцелярии главнокомандующего армией на Балканском полуострове Великого князя Никлая Николаевича (старшего). В ноябре 1877 года составил предварительные условия мира с Портой, которые были одобрены канцлером А. М. Горчаковым и императором Александром II, и легли в основу Сан-Стефанского мирного договора, который подписал в качестве уполномоченного, участвуя в переговорах в Сан-Стефано совместно с графом Н. П. Игнатьевым.
В 1879—1882 годах — посланник в Саксонии и герцогстве Саксен-Альтенбург.
С 1882 года — управляющий посольством в Константинополе, а с 15 июля 1883 года — посол в Константинополе.
Был противником прогерманской политики, проводившейся министром иностранных дел Н. К. Гирсом и его окружением и несколько раз возбуждал вопрос о заключении союза с Францией, что должно было, по его мнению, предупредить возобновление Тройственного союза.
Был сторонником раздела Османской империи; его заветной идеей был захват проливов (Босфор и Дарданеллы). В 1896 году привёз в Санкт-Петербург проект захвата Босфора силами армии и флота. План был одобрен 5 декабря 1896 на совещании у Николая II; Нелидов уехал в Константинополь, чтобы оттуда дать в своё время шифрованную депешу командующему Черноморской эскадрой. Однако Николай II отказался от осуществления плана. Великий визирь Киамаль-паша (1832—1913) говорил, что Нелидову в Константинополе удалось «склонить султана вполне в сторону русской политики. Султан доверял послу больше, чем своему турецкому правительству».
Порта настояла на его отзыве.
С 1896 года — действительный тайный советник.
С 1897 года — посол в Риме, где вызвал недовольство короля Виктора Эммануила III своими донесениями о том, что приезд царя в Италию может вызвать враждебные демонстрации, что расстроило планы визита Николая II в Рим.
С 1903 года — посол в Париже, где пробыл до своей смерти, пользуясь большой популярностью среди консервативных кругов Франции.
Был женат на княжне Ольге Дмитриевне Хилковой (?–1935). Их дети:
Удостоен многих наград, в том числе ордена Святого Владимира 1 степени.