Юлий Борисович Харитон родился в Петербурге 14 февраля (27 февраля по новому стилю) 1904 года в еврейской семье. Его отец, Борис Осипович Харитон, был известным журналистом, впоследствии высланным из Советской России и погибшим в ГУЛАГе, а мать, Мирра Яковлевна Буровская, — актрисой.
С 1920 по 1925 год — студент электромеханического факультета Политехнического института, с весны 1921 — физико-механического.
С 1921 года работал в Физико-техническом институте под руководством Николая Семёнова.
В 1926—1928 годах стажировка в Кавендишской лаборатории (Кэмбридж, Англия). Под руководством Эрнеста Резерфорда и Джеймса Чедвика получил степень доктора наук (D.Sc., Doctor of Science), тема диссертации «О счете сцинтилляций, производимых альфа-частицами».
С 1931 по 1946 год — руководитель лаборатории взрыва в Институте химической физики, научные работы по детонации, теории горения и динамике взрыва.
С 1935 года — доктор физико-математических наук (по совокупности работ).
В 1939—1941 годах Юлий Харитон и Яков Зельдович впервые осуществили расчет цепной реакции деления урана.
С 1946 года Харитон — главный конструктор и научный руководитель КБ-11 (Арзамас-16) в Сарове при Лаборатории № 2 АН СССР. К работе над реализацией ядерно-оружейной программы под его руководством были привлечены лучшие физики СССР. В обстановке строжайшей секретности в Сарове велись работы, завершившиеся испытанием советских атомной (29 августа 1949) и водородной (1953) бомб. В последующие годы работал над сокращением веса ядерных зарядов, увеличением их мощности и повышением надёжности.
В 1955 году подписал «Письмо трёхсот».
Член КПСС с 1956 года.
С 1946 года — член-корреспондент, с 1953 года — академик Академии наук СССР. Депутат Верховного Совета СССР 3—9 созывов.
Похоронен на Новодевичьем кладбище в Москве (9 участок). Координаты могилы: 55.7258, 37.552783
Юлий Борисович жил в этом доме в 1950—1984. Москва, Тверская ул., 9
Могила академика Харитона на Новодевичьем кладбище