В 1686 году был комнатным стольником царя Петра Алексеевича, а в 1691 и 1692 годах был кравчим. 19 октября 1690 года ему было пожаловано в вотчину село Покровское-Тешилово Московского уезда.
В 1695 и 1696 годах участвовал в Азовском походе и был генерал-провиантмейстером при флоте.
С 5 ноября 1697 года по 12 марта 1699 года он, в звании ближнего кравчего, был воеводой во Пскове.
В 1702 году укреплял больверк в только что взятой крепости Нотебург, переименованной в Шлиссельбург. В 1703 году, при возведении Петропавловской крепости в Санкт-Петербурге, надсматривал за работами на бастионе в средине, где при Екатерине II устроены Невские ворота и пристань; бастион этот носил имя своего строителя, К. А. Нарышкина. С 1704 года по 1710 год он был псковским и дерптским обер-комендантом.
Приказания Петра I Нарышкину касались, главным образом, приготовления и присылки судов и лодок в Нарву, Юрьев и Гдов; отправки в Петербург полков и подвод; составления чертежей; устройства засек и оборонительных линий. Назначенный в 1710 году первым Петербургским комендантом, он оставался в этой должности до 1716 года; в январе этого года Нарышкин был назначен Московским губернатором. Вскоре у него возникли пререкания с Сенатом, и дело дошло до того, что по приказу Сената у Нарышкина были отписаны дворы и деревни; однако, он по прежнему оставался у власти; между прочим, в 1718 году он состоял в числе судей над царевичем Алексеем Петровичем, причем в числе других лиц подписал ему смертный приговор.
В 1721 году у Нарышкина возник громкий земельный процесс с родственниками его — Плещеевыми, который он проиграл.
К. А. Нарышкин умер в 1723 году.