Окончил Витебскую Гимназию и поступил в Киевский университет, где и примкнул к Партии «Народная воля». Активно участвовал в пропаганде взглядов данной партии среди рабочих и крестьян. 4 марта 1884 года был арестован и осужден по 294-й статье уложения о наказаниях («Процесс двенадцати»), карающихся смертной казнью, однако, жандармам не удалось доказать участие Караулова и его товарищей в террористических выступлениях и в ноябре того же года Караулов был отправлен на четырех летние каторжные работы в Шлиссельбургскую крепость.
После каторги отправлен в 1889 году в Иркутскую губернию, работал фельдшером в селе Устюг. Затем вместе с женой отправлен в Красноярск, где преподавал, состоял под надзором полиции. В 1908 году стал частным поверенным при Красноярском окружном суде.
Осенью 1905 года возглавлял в Красноярске партию «Народной свободы». В октябре 1905 года партию переименовали в «Свободную народную партию». Караулов предлагал в название партии добавить термин «конституционно-монархическая».
2 февраля 1906 года ему было даровано полное помилование, а 26 октября 1907 года, он был избран в III Государственную думу, где представлял взгляды правых кадетов.
19 декабря 1910 года в Санкт-Петербурге скончался от «паралича сердца вследствие крупозного воспаления легких». Похоронен на Волковском кладбище. 9 мая 1912 года на могиле Караулова был установлен памятник.