Потомственный дворянин; его отец — Михаил Иванович Каринский (1840—1917) — известный логик и философ.
После окончания 7-й Петербургской классической гимназии (1892) поступил на историко-филологический факультет Санкт-Петербургского университета, который окончил в 1896 году с дипломом 1-й степени. По окончании университета был оставлен при университете «для приготовления к званию профессора» на кафедре русской словесности.
В 1900—1906 годах работал в Публичной библиотеке: секретарь, с 1904 — младший помощник библиотекаря; занимался древнерусскими рукописями. В последующие годы продолжал работать с материалами рукописного отдела; принимал участие в подготовке издания «Палеографические снимки с некоторых греческих, латинских и славянских рукописей Публичной библиотеки» (1914), в котором написал пояснения к славянским рукописям XI—XIV веков.
Преподавал с 1899 года: в Ксенинском институте (1899—1900), Екатерининском и Археологическом институтах (с 1900), в Санкт-Петербургском университете (1903—1918) и Петроградском женском педагогическом институте (1911—1917), Историко-филологическом институте (1913—1917). В 1909 году в университете защитил магистерскую диссертацию «Язык Пскова и его области в XV веке». Профессор.
В 1919 году вернулся на родину в Вятку, где преподавал в Вятском институте народного образования (1919—1923); им был организован исследовательский институт по изучению местного края.
В 1923 году переехал в Москву. Работал учёным специалистом Исторического музея. Преподавал во 2-м МГУ (1924—1930), Московском государственном педагогическом институте им. А. С. Бубнова (с 1930). С 1931 года возглавлял Московскую диалектологическую комиссию Институте языка и мышления им. Н. Я. Марра АН СССР.
Опубликовал 75 печатных работ в виде книг и статей в научных журналах и сборниках («Сборник ОРЯС», «Западный историко-филологический факультет Санкт-Петербургского университета», «Русский филологический вестник», «ЖМНП», «Летописи занятий Археографической комиссии», «Библиографическая летопись» и др.) по истории русского и древнеболгарского языков, русской диалектологии, славянской палеографии.
Исследование современных ему диалектов начал ещё студентом (в 1898 году опубликовал первую научную работу). Изучал говоры Костромской, Петербургской, позже — Московской губерний, Вятского края, а после переезда в Москву с использованием фонографических записей — и других регионов.
Исследуя Остромирово Евангелие (Остромирово Евангелие как памятник древнерусского языка // ЖМНП. — 1905, № 5; Письмо Остромирова Евангелия: Палеографический очерк // Сборник РПБ, том 1, выпуск 1. — Пг., 1920), пришёл к выводу, что оно написано не одним писцом, а тремя. Каринский первым по диалектологическим данным установил псковское происхождение дошедшего до первых издателей списка Слова о полку Игореве (1916).
Личный архив Каринского за 1895—1935 годы — 360 единиц хранения — находится в Архиве РАН.