Старший сын действительного статского советника Александра Григорьевича Милорадовича от брака с Софьей Григорьевной урождённой Туманской, родился 24 сентября 1834 года в Чернигове. Начальное образование получил в частных приготовительных пансионах и в 1853 году поступил в Пажеский корпус. Будучи в 1856 году на коронационных торжествах императора Александра II в Москве, 26 августа указом Придворной конторы произведён в камер-пажи.
По окончании Пажеского корпуса по 1-му разряду 1 июля 1857 года был произведён в корнеты Кавалергардского полка. 1 июля 1859 года произведён в поручики и 14 сентября 1861 года назначен полковым квартирмейстером; также за время службы в кавалергардах заведовал школой грамотности для нижних чинов и дежурной комнатой и был полковым библиотекарем. 17 апреля 1862 года произведён в штабс-ротмистры и вышел в отставку.
19 июля того же года Милорадович занял должность мирового посредника Алешнанского участка Городницкого уезда Черниговской губернии; 17 апреля 1863 года награждён почётным знаком за труды по освобождению крестьян.
29 июля 1863 года вернулся в Кавалергардский полк и 30 августа 1865 года произведён в ротмистры. 24 ноября того же года Милорадович был назначен старшим адъютантом при дежурном генерале Главного штаба генерал-адъютанте графе Ф. Л. Гейдене. 27 марта 1866 года был награждён орденом св. Анны 3-й степени.
16 апреля 1867 года произведён в полковники и 27 апреля получил назначение чиновником для особых поручений при начальнике Главного штаба, однако на этой должности Милорадович находился недолго, поскольку 10 июля вернулся к строевой службе в Кавалергардском полку, где был 1 сентября назначен председателем полковго суда и 25 сентября — командиром 4-го эскадрона.
23 мая 1870 года Милорадович оставил полк, поскольку получил назначение в Киевский военный округ офицером для особых поручений при командующем войсками округа.
14 декабря 1871 года пожалован во флигель-адъютанты.
19 марта 1873 года указом императора Александра II ему было дозволено носить графский титул «в увековечение памяти о заслугах М. А. Милорадовича» (его двоюродного деда), с тем, чтобы в нисходящем потомстве этот титул переходил лишь к старшему в роде. В 1875 году ему было дозволено носить потомственный крест ордена св. Иоанна Иерусалимского.
Во время русско-турецкой войны 1877—1878 годов Милорадович находился в свите императора Александра II в действующей армии, был командирован в распоряжение начальника Западной армии и за отличие под Плевной был награждён золотым палашом с надписью «За храбрость». 1 января 1878 года произведён в генерал-майоры с зачислением в свиту.
В декабре 1878 года земством Черниговской губернии избран в почётные мировые судьи. В 1881 году Милорадович назначен состоять при Министерстве внутренних дел. С 1890 по 1896 год избирался Черниговским губернским предводителем дворянства.
5 февраля 1898 года Милорадович был произведён в генерал-лейтенанты и назначен в состав членов Совета министра земледелия и государственных имуществ. В августе 1904 года назначен сенатором.
Скончался 13 августа 1905 года.
Среди прочих наград Милорадович имел ордена
Милорадович был дважды женат: первым браком (в 1878—1884) на дочери Курского губернского предводителя дворянства Н. К. Шабельского Вере Николаевне (1861—1916), вторым браком (с 1885 года) на Ольге Кирилловне урождённой Катеринич (1862—?). От второго брака у Милорадовича был сын Александр (1886—?).
Милорадович кроме многочисленных официальных должностей вёл широкую общественную и благотворительную деятельность. Так он был почётным членом Черниговского статистического комитета и Черниговского благотворительного общества, председателем правления Черниговского отделения попечительства императрицы Марии Александровны о слепых, членом Санкт-Петербургского Славянского благотворительного общества, членом Археологического общества при Киевской духовной академии, Киевского Славянского общества, Императорского общества поощрения художников, председателем Черниговской губернской учёной архивной комиссии. С января 1898 года Милорадович вошёл в число членов правления Русского Генеалогического общества.
С юности занимаясь историческими исследованиями Милорадович напечатал ряд важнейших книг, справочников и статей по истории и генеалогии, среди которых выделяются фундаментальные справочники «Список лиц свиты их величеств с царствования императора Петра I по 1886 год» (Киев, 1886, последующие дополненные издания: Чернигов, 1891; Чернигов, 1895; СПб., 1902) и «Списки губернских предводителей дворянств Российской империи. 1785—1895» (Чернигов, 1895), генеалогические исследования «О роде дворян и графа Милорадович» (Киев, 1871), «О роде дворян Полуботок» (Киев, 1870), исторический труд «Любеч, родина преподобного Антония Печерского» (М., 1871) и многие другие.