Происходил из дворянского рода, правнук профессора Московского университета и известного деятеля масонства Ивана Григорьевича Шварца.
Учился в пансионе в Петербурге. Окончил Первую Московскую гимназию (1864; с серебряной медалью), историко-филологический факультет Московского университета (1868; кандидатская работа: «О синтаксическом употреблении родительного падежа в древних языках»). Магистр греческой словесности (1875; тема диссертации: «Речь Гиперида за Евксениппа»). Доктор греческой словесности (1891; тема диссертации: «О государстве Афинском. Сочинение неизвестного автора V в. до Р. Х.»).
В 1868—1869 — учитель французского и немецкого языков в Александровском военном училище. В 1869—1874 — учитель латинского языка в Лазаревском институте восточных языков.
Читал лекции по истории греческой литературы, впоследствии вышедшие отдельной книгой в литографированном виде. Читал лекции о Демосфене, Еврипиде и Лисии, комментировал их труды. Автор комментированного издания «Олинфийских речей» Демосфена (М., 1873), а также ряда статей, в основном посвящённых интерпретации Гиперида, Демосфена, Лисия, «Политики» Аристотеля и комедий Аристофана. Также публиковал работы по античному искусству.
Одновременно преподавал в средних учебных заведениях:
В 1897—1900, одновременно с преподаванием в университете, был директором Константиновского межевого института. В 1900 был представителем России по учебному делу на Парижской всемирной выставке.
С 14 февраля 1900 года — попечитель Рижского учебного округа. В одном из частных писем так характеризовал свою деятельность в этот период: «Дел у меня здесь много. Приходится сражаться с немцами и с латышами».
С 30 мая 1902 года — попечитель Варшавского учебного округа. С 6 сентября 1905 года — попечитель Московского учебного округа. В условиях революционных событий консервативный попечитель смог продержаться на своём посту только два месяца.
С 16 ноября 1905 года — сенатор, с 6 декабря 1906 года — член Государственного совета. После окончания революционных потрясений был приглашён П. А. Столыпиным в состав правительства для того, чтобы нормализовать ситуацию в учебных заведениях.
Саша ЧёрныйУ старца Шварца
Ключ от ларца,
А в ларце - просвещенье.
Но старец Шварец
Сел на ларец
Без всякого смущенья.
Сиденье Шварца
Тверже кварца -
Унылая картина.
Что ж будет с ларцем
Под старцем Шварцем?
Молчу, молчу невинно…
С 1 января 1908 года — министр народного просвещения. Выступал за деполитизацию средней и высшей школы, против создания в них молодёжных организаций как революционной и либеральной, так и монархической направленности. Считал, что университетский диплом не должен давать особых прав для занятия должностей на государственной службе, так как задачей высших учебных заведений, по его мнению, должна была стать подготовка учёных, а не облегчение карьеры для выпускников. Был сторонником строгого соблюдения действовавших ограничительных законов, в том числе касавшихся возможности получения женщинами высшего образования, «процентной нормы» для лиц иудейского вероисповедования и др. В связи с этим не был популярен среди общественности, с чем соглашался и сам в частном письме:
Стремление А. Н. Шварца защитить свою самостоятельность в качестве министра привели к разногласиям с П. А. Столыпиным. 25 сентября 1910 он был уволен в отставку с производством в чин действительного тайного советника и оставлением членом Государственного совета, где входил во внепартийную группу.