Яков Петрович Шаховской родился в семье князя Петра Ивановича Шаховского. Князь умер, когда Якову было всего несколько месяцев от роду. После этого его мать выходила замуж ещё дважды. В возрасте 9 лет Якова взял на воспитание его дядя — князь Алексей Шаховской, который в то время являлся гвардейским офицером.
Яков Шаховской начал свою военную службу в 1720 году как солдат Лейб-гвардии Семёновского полка. В 1725 году он дослужился до звания лейтенанта, а уже во время правления Петра II получил звание капитана. В 1730 году он прешёл в кавалерию.
В середине 1730-х Шаховской служил под началом своего дяди, который являлся губернатором Малороссии с декабря 1731 года, и поэтому Яков часто лично докладывал императрице Анне Иоанновне и герцогу Бирону об украинских делах. В одном из совещаний о состоянии малороссийских полков и их мобилизационной готовности он не согласился с самим Бироном. Шаховской не просто сумел высказать, что он думает, но и в сопроводительной записке объяснил, почему именно он так думает. Бирон публично признал правоту молодого князя и взял толкового офицера на заметку, во времена регентства весьма его отличал, давая самые разные поручения экспертного свойства.
После смерти дяди в апреле 1737 года, Шаховской принял участие в Русско-турецкой войне в составе кавалерийского полка. Он участвовал в сражениях под Очаковым и Хотином под командованием Христофора Миниха.
Во время регентства Бирона и краткого периода правления Анны Леопольдовны, Шаховской некоторое время занимал пост сенатора и полицмейстера. Когда на престол вступила Елизавета Петровна, многие покровители Якова Петровича были арестованы и ему пришлось покинуть свой пост. Впрочем, по содействию князя Никиты Трубецкого Шаховской получил пост обер-прокурора Святейшего Синода.
Шаховской получил репутацию довольно требовательного и принципиального чиновника, чем вызвал недовольство влиятельных представителей духовенства, которые потребовали у Елизаветы сместить его с занимаемой должности. Тем не менее, он пробыл обер-прокурором Синода на протяжении 12 лет (31.12.1741 - 29.03.1753), в течение которых был награждён орденами Святого Александра Невского и Святой Анны и удостоен в 1753 году чина тайного советника.
29 мая 1753 года он был назначен главой Кригскомиссии и управлял государственными расходами в течение Семилетней Войны. 15 августа 1760 года Шаховской назначен генерал-прокурором. 25 декабря 1761 года император Пётр III по вступлении на трон сместил Шаховского с этого поста. Краткое правление Петра III закончилось дворцовым переворотом, и Екатерина II вернула Шаховского на государственную службу, назначив его сенатором. В день её коронации, императрица наградила его орденом Святого Андрея Первозванного.
1 апреля 1766 Яков Шаховской покинул свой пост и обосновался в Москве. Его жизнь, богатая событиями, является предметом его автобиографических «Записок», которые были впервые изданы в 1810 году уже после его смерти.
Был женат два раза и имел четырёх детей: