Родился 11 ноября 1845 г. в Санкт-Петербурге, был единственным сыном военного министра Д. А. Милютина от брака с Натальей Ивановной Понсэ (1821—1912); его сёстры: Елизавета (1844—1938, замужем за князем С. В. Шаховским), Ольга (1848—1926), Надежда (1850—1913, замужем за князем В. Р. Долгоруким), Мария (1854—1882), Елена (1857—1882, замужем за генералом от кавалерии Ф. К. Гершельманом).
Образование получил в Пажеском корпусе, по окончании которого в 1865 г. выпущен прапорщиком и назначен в лейб-гвардии Конно-гренадерский полк с прикомандированием к батарейной батарее лейб-гвардии конной артиллерии; в 1866 г. произведён в подпоручики и переведён в батарейную батарею 1-й конно-артиллерийской бригады и в следующем году переведён в гвардейскую конную артиллерию. 16 апреля 1872 г. пожалован званием флигель-адъютанта.
В 1873 г. Милютин был командирован в Закаспийскую область в распоряжение полковника В. И. Маркозова и в составе Красноводского отряда совершал неудачный переход через Каракумы в Хивинское ханство. После приказа Маркозова о возвращении отряда, Милютин, получив особую корреспонденцию с объяснениями Маркозова о происшедшей неудаче отряда, с несколькими солдатами был направлен через бухарские пределы к Туркестанскому генерал-губернатору К. П. фон Кауфману. По прибытии по назначению Милютин принял участие в сражении с хивинцами у Шейх-Арыкской переправы и дальнейшем занятии Хивы; также Милютин принял участие в непосредственной разработке маршрута предполагаемой разведки М. Д. Скобелевым, не пройденного Маркозовым участка Каракумов. За боевые отличия против хивинцев Милютин был удостоен орденов св. Владимира 4-й степени с мечами и бантом и св. Станислава 2-й степени.
По возвращении из Туркестана в 1874 г. Милютин был прикомандирован к Главному штабу, где занимался исполнением поручений в Комитете о перевозке войск по железным дорогам и водой. В 1875 г. Милютин временно исполнял дела заведующего передвижением войск по Николаевской, Рыбинско-Бологовской, Новоторжской, Новгородской и Царицынской желехным дорогам. В 1876 г. Милютин был командирован в Германию и Францию для изучения постановки тамошнего железнодорожного дела и для закупки паровозов для российских железных дорог; в том же году ему было поручено заниматься организацией санитарных поездов.
С началом русско-турецкой войны 1877—1878 гг. Милютин был назначен в распоряжение главнокомандующего действующей против турок армией великого князя Николая Николаевича Старшего и определён состоять при Донской казачьей бригаде Нижнедунайского отряда; за отличие при переправе через Дунай у Систова Милютин был награждён золотой саблей с надписью «За храбрость». Затем Милютин состоял при императорской Главной квартире в Горном Студне и участвовал во множестве дел при осаде Плевны. В сентябре 1877 г. Милютин получил новое назначение — офицером для особых поручений при 2-й бригаде 2-й Донской казачьей дивизии, входившей в состав Рущукского отряда; за отличие в делах против турок был награждён орденом св. Анны 2-й степени с мечами.
По окончании войны Милютин по-прежнему состоял при Главной квартире и в 1880 г. получил в командование Крымский дивизион. В 1887 и 1888 гг. Милютин, продолжая командовать Крымским дивизионом, исполнял обязанности коменданта Императорской Главной квартиры.
С 1888 г. Милютин был в должности Харьковского вице-губернатора и с 1891 г. был произведён в генерал-майоры. С 1892 по 1902 гг. он занимал должность Курского губернатора, причём в 1898 г. был произведён в генерал-лейтенанты, также за это время он был удостоен орденов св. Станислава 1-й степени, св. Анны 1-й степени и св. Владимира 2-й степени.
Выйдя в отставку по болезни Милютин поселился в Москве, где и умер 20 января 1904 г., похоронен на кладбище Новодевичьего монастыря.
Граф С. Ю. Витте, знавший Милютина с самого детства, оставил следующую его характеристику: «Он был вообще очень хорошим, но совершенно обыкновенным, ничем не выдающимся человеком».