Джозеф Ричмонд Левенсон родился и вырос в Бостоне в еврейской семье. Начальное и среднее образование получил в Boston Latin School и Harvard College. Летом 1939 года обучался в Лейденском университете. Джозеф окончил Гарвардский колледж летом 1941 года, но в связи со вступлением США во Вторую мировою войну, не смог продолжить обучение. Он был зачислен в запас Военно-морских сил США. После годичной подготовки в качестве офицера-переводчика в Школе японского языка при Калифорнийском университете и Университета Колорадо Левенсон четыре года прослужил во флоте. Он был демобилизован в 1946 году в ранге старшего лейтенанта флота. Вернувшись в США, Джозеф смог продолжить обучение в Гарварде — в 1947 году он получил степень магистра, а в 1949 году степень доктора. С 1951 года и вплоть до самой смерти занимал пост преподавателя на кафедре Калифорнийского университета в Беркли.