Происходил из дворянского рода Неделиных. В РККА с марта 1920 по 1923, участник Гражданской войны, красноармеец. Член ВКП (б) с 1924. Вновь призван в РККА в 1924.
Окончил артиллерийские курсы усовершенствования комсостава (1929 и 1934) и Академические курсы усовершенствования комсостава (1941).
В 1937—1939 гг. участвовал добровольцем в гражданской войне в Испании на стороне республиканского правительства.
С 1938 командовал артиллерийским полком, был начальником артиллерии дивизии и командиром артиллерийской бригады.
В 1939—1940 гг. участвовал в советско-финской войне.
В Великую Отечественную войну Неделин служил командиром артиллерийской бригады, заместителем начальника и начальником артиллерии армии на Южном и Северно-Кавказском фронтах (1941—1943); заместителем командующего артиллерией Северно-Кавказского фронта и командиром артиллерийского корпуса (1943); командующим артиллерией Юго-Западного и 3-го Украинского фронта (1943—45). Произведён в генерал-полковники (1944), удостоился звания Героя Советского Союза (1945).
После войны — командующий артиллерией Южной группы войск (1945—1946), начальник штаба артиллерии Вооруженных Сил (1946—1948), начальник Главного артиллерийского управления Вооруженных Сил (1948—1950); заместитель военного министра СССР по вооружению (с января 1952 по апрель 1953).
В 1950—1952 и с апреля 1953 по май 1955 Командующий артиллерией Советской Армии.
С марта 1955 — заместитель министра обороны СССР и с декабря 1959 — одновременно, главнокомандующий (1-й Главком) Ракетными войсками стратегического назначения; считается их основателем, его имя носит Ростовский Военный Институт РВСН в Ростове-на-Дону.
С 1952 кандидат в члены ЦК КПСС. Депутат Верховного Совета СССР 4-го и 5-го созывов.
Неделин внёс большой вклад в развитие ракетных войск, в начальный этап советской космонавтики.
Погиб 24 октября 1960 г. на Байконуре при взрыве ракеты Р-16 на испытаниях. Всего погибло 78 человек. Сам маршал был опознан только по оплавленной звезде Героя СССР. Инцидент был строго засекречен, официально было объявлено о гибели только самого Неделина, в результате авиакатастрофы. Неделин был захоронен в некрополе Кремлёвской стены на Красной площади в Москве.
Награждён 5 орденами Ленина, 4 орденами Красного Знамени, орденами Суворова 1-й степени, Кутузова 1-й степени, Богдана Хмельницкого 1-й степени, Отечественной войны 1-й степени, «Знак Почёта» и медалями, а также несколькими иностранными орденами и медалями.