Отец его был директором училищ Санкт-Петербургской губернии. Ростовцев воспитывался в Пажеском корпусе и начал службу в гвардии. 12 декабря 1825 года словесно известил императора Николая I о заговоре декабристов, не называя имён участников и не преследуя никакой личной цели. В 1828 году был назначен адъютантом великого князя Михаила Павловича и сопровождал его в турецкой кампании 1828 года и польской 1831 года; в 1835 году был назначен начальником штаба великого князя по управлению военно-учебными заведениями и сохранил эту должность, когда управление военно-учебными заведениями, после кончины великого князя, было вверено наследнику цесаревичу.
По вступлении на престол императора Александра II, главное начальствование над военно-учебными заведениями было возложено на Ростовцева, с званием начальника главного штаба Его Императорского Величества по военно-учебным заведениям. Он заботился об улучшении учебной части в военно-учебных заведениях, привлекал лучших преподавателей, поощрял отправление молодых людей за границу для подготовления к педагогической деятельности; составил свод законов о военноучебных заведениях (1837), «положение» об управлении ими (1843) и «наставление» для образования их воспитанников (1848). Разработал план издания журнала для воспитанников военно-учебных заведений («Журнал для чтения воспитанникам военно-учебных заведений»), одобренный Николаем I, и стал главным редактором этого журнала. 4 декабря 1843 года он был награждён орденом св. Георгия 4-й степени (№ 6927 по списку Григоровича—Степанова).
В начале 1857 года Ростовцев был назначен членом негласного комитета (с 1858 года — главный комитет) по крестьянскому делу и был одним из трёх членов образованной при комитете комиссии, для рассмотрения сообщенных ему проектов и записок. Он принял это назначение вследствие настояний Государя, желавшего иметь в комитете лицо, пользовавшееся полным его доверием. Сначала Яков Иванович относился недоверчиво к задуманной реформе; это отразилось на составленной им программе деятельности губернских комитетов, по которой за помещиками должны были быть сохранены вотчинные права в большем размере, чем по неутверждённому проекту Ланского, как составление положений о крестьянах, так и приведение их в действие должно быть передано в руки губернских комитетов; применение положений к отдельным имениям имели произвести и объявить крестьянам сами владельцы их; крестьяне получали лишь потомственное пользование усадебной землёй.
В июле 1858 года Яков Ростовцев был назначен одним из четырёх членов комиссии для предварительного рассмотрения проектов положений, поступавших из губернских комитетов. Отправившись летом того же года в заграничный отпуск, Ростовцев посвятил свой досуг изучению литературы крестьянского вопроса и после того радикально изменил свои взгляды на реформу. Причины этой перемены в точности неизвестны: есть предположение, что во время пребывания в Дрездене сын его, Александр, находясь при смерти, заклинал его действовать на пользу русского народа; возможно также, что, находясь за границей, Яков Иванович присмотрелся к быту тамошних крестьян и сравнил его с жизнью русского мужика. Во всяком случае, по возвращении в Россию Ростовцев является сторонником освобождения, каким его понимали лучшие деятели крестьянской реформы. Свои мысли Яков Ростовцев изложил в четырёх письмах, написанных им Государю из Вильдбада, Карлсруэ и Дрездена. Извлечение из этих писем, сделанное самим Ростовцевым, обсуждалось главным комитетом под личным председательством Государя; в том же духе были составлены и правила, данные в руководство комитету.
Когда в начале 1859 года были учреждены редакционные комиссии, на Ростовцева было возложено председательство в них, с правом дать им внутреннее устройство по его ближайшему усмотрению. В первых заседаниях комиссий Яков Иванович подробно изложил свои мысли об основаниях реформы: «Никто из людей мыслящих, просвещённых и отечество своё любящих, — писал он, — не может быть против освобождения крестьян. Человек человеку принадлежать не должен. Человек не должен быть вещью», одобренные Государем: освобождение крестьян с землёю, выкуп при посредстве правительства, сокращение, по возможности, переходного срочнообязанного состояния, перевод крестьян с барщины на оброк, самоуправление освобожденных крестьян в их сельском быту. С точки зрения Ростовцева, единственно приемлемым мог бы быть проект полтавского помещика Позена. «Этот проект, — писал он, — вполне практический, умеряющий все опасения, обеспечивающий все интересы, обильный благими последствиями введения ипотечной системы, был бы превосходен, если б, во-первых, указал финансовые для осуществления своего средства, во-вторых, был бы окончательно развит в административном отношении». Ростовцев начал работу в комиссиях, по его словам, «с молитвою, с благоговением, со страхом, с чувством долга»; до самой своей смерти он давал направление всем их работам, соглашал возникавшие разномыслия; впервые применил гласность при разработке законодательных мер, напечатав «труды» комиссий в количестве 3000 экземпляров для рассылки всем лицам, которые могли оказаться полезными делу.
6 февраля 1860 года Яков Иванович Ростовцев умер, не успев завершить дела реформы, хотя, впрочем, главнейшие части проекта «Положения о крестьянах» были уже выработаны; составленная им перед смертью для Государя записка по крестьянскому делу послужила, по Высочайшему повелению, наставлением для дальнейшей деятельности редакционных комиссий под председательством гр. Панина (она была напечатана в небольшом числе экземпляров для членов главного комитета и др. лиц и перепечатана в герценовских «Голосах из России», 1860, «Русском Архиве», 1868, и «Русской Старине», 1880, XXVII).
После издания положения 19 февраля была возложена, по Высочайшему повелению, на гробницу Ростовцева золотая медаль, установленная за труды по освобождению крестьян; вдова Ростовцева и здравствующие на этот момент сыновья с их нисходящими потомками были возведены в графское Российской Империи достоинство.
В 1820-х годах Яков Иванович Ростовцев напечатал несколько пьес в журналах и трагедию «Персей» (1823); отрывки из его трагедии «Дмитрий Пожарский» напечатаны в 1827 году в «Московском Вестнике»; два позднейших стихотворения Ростовцева приведены в «Рус. Старине» (1870, II).
Обширное собрание бумаг Ростовцева было сообщено им барону Гакстгаузену для сочинения его о крестьянской реформе в России (Лпц., 1866) и издано вполне А. Скребицким («Крестьянское дело в царствование имп. Александра II», Бонн-на-Рейне, 1862-68).