Потомственный дворянин. Детство провел в родовом имении Патебник Щигровского уезда Курской губернии. Отец — Евгений Львович Марков (1835—1903) — был известен как литератор, педагог и государственный деятель. В 1888 Николай Марков окончил Институт гражданских инженеров в Москве. Служил инженером на железной дороге. Совместно с женой владел участком земли в 368 десятин в селе Охочевка Щигровского уезда Курской губернии. Как землевладелец был избран членом уездной земской управы, а в 1905 году — членом губернской земской управы. Один из учредителей Курской народной партии порядка (создана 5 сентября 1904). В декабре 1906 эта партия стала курским отделом Союза русского народа.
В мае 1906 вошёл в Совет по организации съезда уполномоченных дворянских собраний. В период 1900—1910 годов Марков был постоянным участником съездов Объединенного дворянства. Входил в комиссию по еврейскому вопросу при Постоянном Совете Объединенного дворянства.
Депутат III и IV Государственной думы от Курской губернии. В Думе был известен как «Марков Второй» (был ещё один депутат с такой фамилией). В Думе был членом совета фракции правых, где был лидером умеренного крыла. Получил известность как черносотенец.
После большевисткого переворота в России вел конспиративную работу в Петрограде, где летом 1918 года Марков был обер-офицером для поручений в создаваемой германцами на оккупированных русских территориях северо-запада Росии (Псковская губерния) русской добровольческой «Северной армии» (позднее из её зачатков образовался Северный корпус). Затем в 1919—1920 годах был в армии Н. Н. Юденича.
С 1920 года (по другим данным с 1921 года) находился в эмиграции в Берлине. Редактировал журнал «Двуглавый орел» (1920—1921).
C 1922 связан с семьей Великого Князя Кирилла Владимировича, после его смерти в 1938 году — безусловный сторонник его сына Великого Князя Владимира Кирилловича. Проявлял большой и последовательный интерес к фашизму.
В Германии встретился с Александром Римским-Корсаковым, вместе с ним участвовал в съезде монархистов в Рейхенгалле, избран председателем Высшего монархического совета (1921—1926, по другим данным до 1927). В рамках Высшего монархического совета проводил консервативную линию.
В 1935 году в Эрфурте вступил в русскую секцию нацистской «Мировой службы» (так называемого «антисемитского интернационала»). Начиная с 1936 года редакторовал русский выпуск еженедельника «Мировая служба. Международная корреспонденция по просвещению в еврейском вопросе.» нем. Welt-Dienst. Internationale Korrespondenz zur Aufkl?rung ?ber die Judenfrage, который издавался Ульрихом Флейшгауэром. Участвовал в создании антисемитской энциклопедии «Сегила Вери». На протяжении 1930-х годов опубликовал в Германии книги и статьи антисемитского содержания на русском языке (История еврейского штурма России, Лик Израиля), а после нападения нацистской Германии на Советский Союз и на немецком языке (Der Jude ist der Parasit des Bauerntum, 1944; Die Rolle des Judentums in Russland seit seinem Erscheinen im 17. Jahrhundert bis zu seiner Machtergreifung 1917., 1944), в которых выступил поборником «окончательного решения еврейского вопроса» и сторонником войны с СССР.
Марков был женат дважды и от двух браков имел пятерых детей. Умер в конце апреля 1945 года в городе Висбаден, в Германии.