Холтер окончил Калифорнийский университет в Лос-Анджелесе в 1937 году. Он получил степень магистра в области химии и физики. Последипломное образование он получал в университете Гейдельберга (Германия), Чикагском университете, Ок-Риджском институте ядерных исследований, и университете Орегонской медицинской школы. Во время Второй мировой войны Холтер служил старшим физиком в американском флоте, изучая особенности волн. В 1946 году он возглавлял правительственную исследовательскую группу, тестировашую атомную бомбу в атолле Бикини. После войны он продолжал работу в Комиссии по атомной энергии Соединённых Штатов, и служил президентом Общества ядерной медицины с 1955 по 1956 годы. В 1964 он стал профессором в Калифорнийском университете в Сан-Диего.