Сын создателя ВДВ генерала Василия Маргелова и отец главы комитета по международным делам Совета Федерации Михаила Маргелова.
С 1958 года по 1963 год обучался на на юридическом факультете Московского государственного университета им. М. В. Ломоносова. Окончил его по специальности «Правоведение» с присвоением квалификации юриста.
По окончании университета был рекомендован на работу в Комитет государственной безопасности СССР.
С 1965 года — на службе в разведке.
В 1980-х годах работал начальником 5-го отдела Первого главного управления КГБ СССР (Франция, Испания, Италия, Швейцария, Португалия, государства Бенилюкса, Греция, Югославия, Албания, Румыния).
Неоднократно выезжал в длительные и краткосрочные загранкомандировки.
С 1997 года по 2003 год — заместитель директора Службы внешней разведки Российской Федерации по оперативным вопросам.
В декабре 2003 года, по достижении предельного возраста пребывания на военной службе, был уволен в запас Вооружённых Сил Российской Федерации.
С 7 декабря 2003 года — депутат Государственной Думы Федерального Собрания Российской Федерации четвертого созыва по федеральному избирательному округу от политической партии «Единая Россия».
Являлся заместителем председателя Комитета по безопасности, членом Комиссии по рассмотрению расходов федерального бюджета, направленных на обеспечение обороны и государственной безопасности Российской Федерации, членом Комиссии по расследованию причин и обстоятельств совершения террористического акта в городе Беслане Республики Северная Осетия — Алания 1-3 сентября 2004 года.
С февраля 2001 года — генерал-полковник, с 2003 года в запасе.
Женат, имеет четверых сыновей. Старший сын Михаил — Председатель Комитета Совета Федерации по международным делам (c 2001 года).