Родился в пригороде Сиднея. Окончил Сиднейский университет со специализацией по английской литературе и философии. На формирование его философских взглядов повлияли Джон Андерсон и Гилберт Райл. В 1934 году Пассмор стал помощником лектора по философии в университете Сиднея. С 1950 по 1955 был профессором философии в Университете Отаго в Новой Зеландии, затем в 1958—1979 гг. был профессором философии в Австралийском национальном университете. Читал также лекции в Англии, США, Мексике, Японии и различных европейских странах.
Наибольшую известность получила его работа «Сто лет философии» (англ. A Hundred Years of Philosophy), посвящённая философским учениям второй половины XIX — первой половины XX столетий. Продолжением этой книги стала другая работа Пассмора «Современные философы», анализирующая современные дискуссии в аналитической философии.