Каждан родился в купеческой семье в Москве. После революции семья познала голод и лишения. Отец Пейся (Пейсах) Эфрон, или в русской версии Петр Израилевич Каждан, стал одним из ведущих специалистов по технологии изготовления смазочных масел в строящейся советской танковой промышленности. Из-за буржуазного происхождения перед ним были закрыты двери вузов в Москве. Каждан закончил Уфимский пединститут. После защиты диссертации в 1946 г. двери московских научных институтов опять оказались закрыты перед ним, на сей раз, из-за его «космополитической» национальности. Семье пришлось скитаться по внештатным должностям в глубинке.
В 1944 г. Каждан женился на Римме Извянской (которую все знавшие её звали Мусей). В 1944 г. родился сын Дмитрий.
С 1956 г. профессор Александр Каждан работал в Институте истории Академии Наук СССР. Среди них научные книги и статьи, статьи в ведущих советских энциклопедиях, переводы античных и средневековых авторов, научно-популярные публикации и книги. Каждан участвовал в редколлегии журнала «Византийский временник». Дискуссионные статьи Каждана охотно печатал Александр Твардовский в «Новом мире». В 1975 г. сын Каждана Дмитрий получил приглашение занять кафедру профессора в Гарвардский университет (США).
Жизнь Александра Петровича усложнилась, жену уволили с работы, и он принял решение эмигрировать. В 1978 г. он прибыл в Вену с израильской визой. Но через год, после длительного пребывания в Париже и Бирмингеме, Александр Каждан поселился в США, где работал в Центре изучения Византии в Дамбертон-Окс и вёл курс лекций в Принстонском университете.
После 1978 г. труды Александра Каждана, выдающегося ученого и талантливого просветителя, было вычеркнуто из российской жизни. Книги Каждана изымались из библиотек, статьи из научного оборота. В московском издательстве «Искусство» на 30 лет застряла рукопись его замечательной книги «Два дня из жизни Константинополя».
В США Каждан воспитал целую плеяду исследователей-византологов.
Сын Давид (Дмитрий) — американский математик, специалист по теории представлений групп. Внук Эли Каждан -многолетний советник и соратник Натана Щаранского, занимавший ряд постов в израильской государственной службе.
Изданная в США в 1997 г. неполная библиография трудов Каждана насчитывает 692 названия.