Во время Второй мировой войны был помощником начальника штаба 3-й армии США в Европе.
Харкинс стал первым главой Командования по оказанию военной помощи Вьетнаму после его создания в феврале 1962 года. Возглавлял его до июня 1964 года. Этот период известен в истории американского военного вмешательства во Вьетнаме как «война советников», когда участие США в войне ограничивалось направлением советников в южновьетнамские подразделения. Харкинс был сменён на своём посту Уильямом Уэстморлендом.
Автор книги о генерале Паттоне «Когда Третья гремела в Европе: История замечательной армии Паттона» (When the Third Cracked Europe: The Story of Patton’s Incredible Army) (1969). Был техническим консультантом фильма «Паттон» (1970).