Начал свою службу рядовым в Бутырском пехотном полку в 1773 г., с которым и принял участие в 1-й турецкой войне. Блистательные победы Румянцева в эту кампанию вселили в Карягина веру в ту силу русского солдата и в себя самого, опираясь на которую он впоследствии никогда не считал врагов. Вместе с Бутырским полком Карягин поступил в 1786 г. на сформирование 4-го батальона Кубанского егерского корпуса и с этого времени уже не выходил из-под огня неприятеля.
Принимая участие в многочисленных походах против горцев и дослужившись до полковника, 20 августа 1800 г. Карягин был назначен командиром 17-го егерского полка, сформированного из 5-го батальона Кубанского егерского корпуса, а 14 мая 1803 г. (после короткого шефства над 15-м егерским полком) на него было возложено полковое шефство. С этим полком Карягин принял участие в кампаниях против персов и 24 февраля 1804 г. получил орден св. Георгия 4-й степени (№ 642 по списку Судравского, № 1544 по списку Григоровича—Степанова)
Легендарную славу Карягину создала кампания 1805 г., когда, окруженный 20-тысячной персидской армией Аббаса-Мирзы в Карабахской провинции, он три недели противостоял ей в Аскеране, Шахбулаге и Мухрате, не только с честью отбивая нападения персов, но сам беря приступом персидские крепости, и, наконец, с отрядом всего лишь в 100 человек пробился к Цицианову, шедшему к нему на помощь. За эту кампанию Карягин получил золотую шпагу с надписью «За храбрость».
Беспрерывные походы, раны, а особенно утомление в зимнюю кампанию 1806 г. расстроили здоровье Карягина. Он заболел лихорадкой, перешедшей в жёлтую гнилую горячку, и 7 мая 1807 г. этого «поседелого под ружьем» героя не стало (исключён из армейских списков 31 июля 1807 г.). Последней его наградой был орден св. Владимира 3-й степени, полученный за несколько дней до кончины.
Историк Кавказской войны В. А. Потто писал: «Пораженное его богатырскими подвигами, боевое потомство придало личности Карягина величаво легендарный характер, создало из него любимейший тип в боевом Кавказском эпосе».