Родился в семье коллежского советника Карла Ефимовича Грота. Мать — Каролина Ивановна Цизмер. В семье было четверо детей: Роза, Александр, Яков и Николай. Брат — Константин.
Был направлен на учёбу в Царскосельский лицей по личному указанию императора Николая I. Окончил в 1832 году с золотой медалью и поступил на службу в канцелярию комитета министров, состоя в непосредственном ведении барона М. А. Корфа. После назначения Корфа государственным секретарем (1835 год) был переведен в его канцелярию.
В 1838 году состоялось знакомство с П. А. Плетневым и началось сотрудничество в «Современнике».
В 1840 году назначается чиновником особых поручений при графе Ребиндерге и переезжает в Финляндию. Занимается инспекцией финских школ по преподаванию русского языка.
В 1841 году становится профессором русской словесности и истории при Императорском Александровском университете. По поручению университетского Совета организовал отдельную русскую библиотеку.
В декабре 1852 года избирается в члены-корреспонденты Императорской Академии наук и в начале следующего года переезжает в Петербург, поступает на службу в Царскосельский лицей профессором словесности. Одновременно назначен преподавателем словесности немецкого языка, истории и географии к Великим Князьям Николаю и Александру Александровичам.
В 1858 году утвержден академиком Российской Императорской академии наук.
В декабре 1865 года избран в члены-корреспонденты Русского Археологического общества.
В октябре 1889 года утвержден вице-президентом Российской Императорской академии наук.
Скончался 24 мая (5 июня) 1893 года. На докладе о кончине Я. К. Грота Государь Император написал: «Меня эта смерть весьма огорчила. Я знал Якова Карловича более 25 лет и привык любить и уважать эту достойную личность».
24 февраля 1850 года женился на Наталье Петровне Семеновой из дома Гирсов. У них родились четыре сына и дочь: Николай (1852—1899), Константин (1853—1934), Александр (1856), Мария (1858—1872) и Яков (1869—1874).
Автор ряда трудов по истории русской словесности: «Филологические разыскания»; образцовое для своего времени научно-критическое с обширным комментарием издание сочинений Державина в 9 томах (1864—1883); издание сочинений Хемницера (1873); книга «Жизнь Державина»; исследование «Екатерина II» и другие. Изучал историю шведской и финской литературы, скандинавский фольклор и морфологию.
Известен своими работами в области русской орфографии. В работах «Спорные вопросы русского правописания от Петра Великого доныне (1873)» и «Русское правописание» (справочник, выдержавший 22 издания в 1885—1916), сформулировал основные принципы правописания — фонетический и историко-этимологический — а также предложил нормы русской (дореформенной) орфографии, по которым его пособие было наиболее авторитетным вплоть до реформы 1918 года, хотя не все его орфографические предложения в этот период соблюдались реально (например, написание вядчина вм. ветчина, діэта вм. діета). Работы Грота считаются первым теоретически обоснованным сводом правил русской орфографии. В них содержатся замечания о морфологической роли русского ударения.
Был также выдающимся лексикографом, начал издавать «Словарь русского языка» нормативного типа (вышло начало, буквы А-Д, 1891), занимался словарём и стилем отдельных писателей («Словарь к стихотворениям Державина», 1883), основал картотеку словарного сектора Института русского языка РАН.
Его труды неоднократно печатались в журналах «Филологические записки», «Русский филологический вестник».
«Труды Я. К. Грота» изданы под редакцией профессора К. Я. Грота: