Родился в 1709 году в швабском городе Меммингене в мещанской семье; после получения общего образования в местном лицее обучался в гимназии в г. Циттау. В 1732 году поступил в Лейпцигский университет; в Лейпциге сблизился с сыновьями И. С. Баха, нередко музицировал вместе с ними (на своём любимом инструменте — флейте). Особенно близкая дружба завязалась у Якоба Штелина с Карлом Филиппом Эммануилом Бахом.
В 1735 году он был выписан по контракту в Санкт-Петербургскую академию «для словесных наук и аллегорических изобретений для фейерверков, иллюминаций и медалей»; в 1738 году был сделан профессором «элоквенции [красноречия] и поэзии» и членом академии. По поручению императрицы Анны Иоанновны сочинял оды по торжественным случаям на немецком языке (переводились на русский В. К. Тредиаковским). В 1741 году принял в своё заведование основанный при академии художественный департамент; в 1743 — составил на немецком языке описание коронации императрицы Елизаветы Петровны, с приложением гравюр, исполненных под его смотрением мастерами департамента (одним их них был И. А. Соколов). Данное издание считается превосходным по качеству гравюр, уникальным памятником российского гравировального искусства; в России до этого альбома гравюры такого качества не издавались (см. Коронационный альбом Елизаветы Петровны).
В 1742 году принят на должность учителя к наследнику российского престола Петру Фёдоровичу; после свадьбы Великого князя в 1745 году с должности отставлен и назначен его личным библиотекарем. Якоб Штелин оставался при дворе Петра Фёдоровича и после того, как Великий князь был провозглашён императором; был в числе его ближайших доверенных лиц. Находился вместе с императором в дни дворцового переворота 28—29 июня 1762 года. Оставил «Записки об императоре Петре III» (первое издание в Лейпциге в 1781; на русском языке изданы в 1866 году). После восшествия на престол Екатерины II пользовался её благосклонностью.
Штелин принимал участие в подготовке издания академией первого атласа Российской империи (1745). Когда художественный департамент в 1747 году был преобразован в Академию изящных искусств, состоящую при Академии Наук, управление этим учреждением было поручено Штелину, который приложил большие старания к развитию в нём рисования и гравирования, выписывал из-за границы учителей, подбирал для них состав способных учеников и особенно заботился об усвоении рисунка. Благодаря этим стараниям, гравирование в Академии сильно двинулось вперёд: были выгравированы план Петербурга на 9 листах (в альбоме «План столичного города Санктпетербурга с изображением знатнейших онаго проспектов», 1753), виды Петербурга, Царского Села и Ораниенбаума, портреты императрицы и Великого князя Петра Фёдоровича и изображения всех иллюминаций и фейерверков, бывших при разных торжественных случаях.
Якоб Штелин был талантливым мастером по устроению фейерверков; в царствование Анны Иоанновны, Елизаветы Петровны, Петра III и Екатерины Великой многие торжества сопровождались фейерверками и иллюминацией с постановкой аллегорических композиций; автором этих затей (а после — гравюр, их изображающих) был Штелин.
Штелин также серьёзно занимался медальерным искусством, имевшее в России до него некоторое развитие при Петре I, но позже забытое. Его долговременный проект — чеканка серии медалей, посвящённых Петру Великому. 25 медалей были выпущены ещё в 1700-е—1720-е годы; Штелину удалось заинтересовать Елизавету Петровну идеей расширить и дополнить серию. В разные годы число проектируемых медалей колебалось от 100 до 180. Работа шла крайне медленно из-за недопонимания придворного окружения художественной и исторической значимости проекта, недостатка финансирования и отсутствия в России специалистов высокой квалификации. В 1759 году сгорела Монетная канцелярия, а вместе с ней — эскизы и заготовки петровской серии; всего в правление Елизаветы Петровны было отчеканено 6 медалей. Екатерина II в 1772 году вспомнила о зачине Штелина и вернула проект из небытия; была создана комиссия по сочинению медалей в составе Якоба Штелина, М. М. Щербатова, А. А. Нартова, М. М. Хераскова и профессора Академии художеств Г. И. Козлова. К 1775 году эскизы 125 медалей, рисованные Козловым по проектам Штелина, были готовы; серия отчеканена в 1770-е—1780-е годы. Штелин также работал над одиночными медалями в честь коронации Елизаветы Петровны и Екатерины Великой, других памятных событий; известны также его медали, посвящённые сражениям русско-турецкой войны 1768—1774 годов.
Императором Священной Римской империи возведён в дворянское достоинство (дата точно неизвестна; первое упоминание по-французски фамилии Штелина с приставкой de относится к 1762 году).
В 1767 г. Штелин издал свои «Известия о художествах России», в двух частях, — сочинение, из которого, несмотря на заключающиеся в нем ошибки и неточности, иностранцы еще долго черпали данные для своих показаний о русском искусстве. Также Штелину принадлежат первые описания художественных коллекций Петербурга и пригородных дворцов.
Якоб Штелин был учёным секретарём Академии наук в 1765—1769 годах; как в этом качестве, так и до назначения на должность вёл обширную переписку со многими известными деятелями науки того времени (в архивах сохранилось более тысячи его писем, адресаты — «от Мадрида до Пекина»). Некоторое время возглавлял петербургский «Музыкальный клуб».
Штелин умер в Санкт-Петербурге в 1785 г. После него осталось огромное количество рукописей и бумаг всякого рода, а также уникальное собрание русских гравюр XVIII столетия, по большей части в пробных и единственных оттисках. Это собрание почти целиком поступило от наследников Штелина в «древнехранилище» М. П. Погодина, а из него — в Императорскую Публичную Библиотеку (ныне Российская национальная библиотека).
Перу Якоба Штелина принадлежат «Анекдоты о Петре Великом», напечатанные на немецком языке в Лейпциге в 1785 г. и переведенные на русский и французский языки ещё в начале XIX века.
Вот как предваряет свой труд ведущий специалист Российского государственного исторического архива, многие годы потративший на изучение наследия Якоба Штелина, Константин Владимирович Малиновский:
Прекрасно показан образ Якоба Штелина, как подлинного джентельмена и ученого в повести Марка Алданова "Пуншевая водка". Возможно, это единственное повествование о Штелине в художественной литературе, о чем можно только сожалеть - человек был поистине замечательный и редкой доброты и порядочности. Россия за таких немцев Германии очень благодарна должна быть.