Родился в семье известного писателя Леонарда Хаксли, сына знаменитого биолога Томаса Хаксли, известного под прозвищем «Бульдог Дарвина». Единокровным братом Эндрю был писатель Олдос Хаксли, автор известного романа-антиутопии «О дивный новый мир»; двоюродным братом был Джулиан Хаксли, основатель ЮНЕСКО.