Михаил Александрович Караулов родился в 1887 году в станице Тарская Сунженского отдела Терской области (ныне с. Тарское, Пригородный р-н Северной Осетии) в семье зажиточного казака?.
В 1901 году Михаил Александрович окончил филологический факультет Петербургского университета, а в 1902 году он сдал выпускной экзамен при Николаевском кавалерийском училище. В отставку с действительной военной службы Михаил Александрович вышел в 1905 году в чине подъесаула.
После ухода с военной службы М. А. Караулов основал и занимался изданием журнала «Казачья неделя». Он также активно участвовал в создании «Общества любителей казачьей старины» и занимался научно-исследовательской деятельностью В этот период он написал несколько книг по истории терского казачества.
Был депутатом Государственной думы II и IV созыва от Терской области. Во II Думе являлся членом официально зарегистрированной Казачьей группы. В IV Думе, примкнув поначалу к фракции прогрессистов и мирообновленцев и став секретарём казачьей и крестьянской групп, в последующем ушёл во вновь образованную Независимую группу. При образовании Прогрессивного блока вошёл в его состав. Занимал в IV Думе должности секретаря комиссии по обсуждению вопроса об участии Думы в праздновании 300-летнего юбилея царствования Дома Романовых и комиссии по старообрядческим вопросам, а также товарища секретаря комиссии по запросам. Караулов не принадлежал ни какой политической партии. При заполнении анкеты, в графе «партийная принадлежность» М. А. Караулов написал: «Я ни к какой партии или фракции не принадлежу. Я — то, что должен представлять собой всякий, истинно любящий свою Родину, — я монархист-демократ».
Активный участник Февральской революции, член «штаба Керенского». Вошёл в состав Временного комитета Государственной думы (ВКГД). С 27 февраля по 1 марта курировал деятельность Низшей следственной комиссии. Комендант Таврического дворца и его районов (1 — 4 марта 1917). Будучи членом ВКГД, 1 марта 1917 года издал приказ о немедленном аресте всех чинов наружной и тайной полиции и корпуса жандармов. 8 марта 1917 года был назначен комиссаром Временного правительства и ВКГД в Терской области и выехал во Владикавказ.
27 марта (9 апреля) 1917 Караулов был избран Войсковым Кругом атаманом Терского казачьего войска.
Возглавляя правительство в области он настоял на издании областным гражданским Исполкомом ограничительных правил проведения митингов с целью не допущения дестабилизации в области. Для этого также он в июле 1917 года обратился с просьбой в Военное министерство вернуть с фронта Терскую казачью дивизию.
На съезде представителей сельского населения, городских самоуправлений и Советов Рабочих и Солдатских Депутатов, проходившем в крае с 18 по 20 мая 1917 года, он был избран товарищем председателя областного Исполкома. Работая в исполкоме он пытался учитывать сложное переплетение аграрных и национальных проблем на Северном Кавказе, пытался искать пути для решения этих проблем, действуя совместно с местными «национальными вождями» края, при этом твердо выступая против «анархии» в крае.
Осенью 1917 года он участвовал в Москве в Государственном совещании, где поддержал требование Донского атамана А. М. Каледина упразднить все комитеты и советы на фронте и в тылу для укрепления дисциплину в армии. Он стал одним из организаторов созданного 20 октября «Юго-Восточного союза казачьих войск, горцев Кавказа и вольных народов степей», который по замыслу его основателей должен был начать «оздоровления России с окраин» ввиду «развала центральной государственной власти».
После перехода власти в Петрограде к большевикам М. А. Караулов заявил, что вступает в управление Терским краем «со всей полнотой государственной власти». С целью борьбы с анархией, грабежами и разбоями в области Терского казачьего войска было объявлено военное положении. Также М. А. Карауловым был отдал приказ о приведении в боевое состояние всех казачьих частей области. 1 декабря он возглавил Временное Терско-Дагестанское правительство. В революционных пробольшевистских газетах того времени М. А. Караулов рисовался как ярый контрреволюционер, что по-видимому сыграло роль в обстоятельствах его дальнейшей гибели.
В декабре 1917 года для приветствования прибывшего с фронта I Волгского казачьего полка М. А. Караулов в сопровождении родного брата Владимира, хорунжего Алексея Белоусова и депутата Войскового Круга Султанова прибыл в Пятигорск. 26 декабря 1917 года во время следования во Владикавказ вагон, в котором находился М. А. Караулов с сопровождающими остановился на станции Прохладная Владикавказской ж. д.
Группа вооруженных солдат 106 Уфимского пехотного полка во главе с неким Зотовым, которые возвращались с Кавказского фронта и находились в тот момент на станции, узнали, что в вагоне № 4 пассажирского поезда находится атаман Терского казачества, потребовали всем выйти из вагона, одного рядового, призывавшего прекратить безобразие, озверелые солдаты убили на месте. Караулов и его сопровождающие отказались покинуть вагон, возникла перестрелка. Караулов и все его сопровождающие погибли в перестрелке, кроме тяжело раненного Султанова. Солдаты ворвались в вагон. Тело атамана выволокли на улицу, раздели и разграбили, голову разбили до мозгов. Толпа солдат под крики «Ура» праздновала «победу».
Солдаты украли кожаную офицерскую куртку брата Михаила Караулова — Владимира. Позже одежду погибших со следами крови нашли в вагонах уфимцев. На помощь атаману выдвинулась сотня терских казаков, часть солдат бежала. Узнав, что опоздали, казаки расстреляли 3 подозреваемых в расстреле вагона. Тут же с почестями казаки повезли тело своего Атамана во Владикавказ. Атаман Михаил Караулов и убитые с ним Владимир Караулов и хорунжий Алексей Белоусов были похоронены во Владикавказе в ограде Михаило-Архангельского собора. А через некоторое время в Новочеркасске был задержан главный подстрекатель нападения на Караулова — Зотов, который так громко рассказывал, как они в Прохладном убили атамана, что кто-то из пассажиров вызвал патруль. Комендант станции поручик Рясенцов задержал Зотова. Было проведено дознание, и Зотов был казнен.