Юлий Борисович Харитон родился 27 февраля 1904 года в еврейской семье. С 13 лет он начал работать одновременно с учебой в реальном училище: был письмоводителем, учеником механика и монтёром. В 1919 году окончил училище, но не был принят в Технологический институт из-за возраста. Затем с 1920 по 1925 годы учился в Политехническом институте в Петрограде, где дипломировался инженером-физиком, увлекаясь физикой под влиянием Иоффе.
В 1921 году начал научно-исследовательскую работу в Физико-техническом институте под руководством Н. Н. Семёнова. В 1926—1928 годах стажировался в Кавендишской лаборатории в Англии, где получил степень доктора наук. По возвращении занимался митогенетическим излучением и химической кинетикой.
Лев Рябев рассказывал: «Я вспоминаю, однажды Ю. Б Харитону сказали: «Юлий Борисович, что вы беспокоитесь? Подумаешь, заряд не работает. Все равно же воевать не будем». Он был возмущен: «Наша задача – сделать так, чтобы не было проблемных вопросов по оружию. Только на этом мы стоúм.» Ю. Б. Харитон говорил: «В нашем деле мелочей нет». Он влезал во все тонкости и так же воспитывал своих людей. Когда к нему приходили с документами, он каждое слово, каждую букву не на веру брал, а требовал доказательств: «Почему ты так написал?»…».
С 1931 по 1946 год был руководителем лаборатории взрывчатых веществ в Институте химической физики, проводил научные работы по детонации и теории горения. Читал курсы физики в Ленинградском индустриальном институте и редактировал журнал по экспериментальной и теоретической физике.
Харитон был выдающимся ученым, игравшим ключевую роль в развитии ядерной физики и создании советской атомной и термоядерной бомб. Он был удостоен множества наград, включая Ленинскую и Сталинские премии, и был трижды награждён званием Героя Социалистического Труда.
Харитон умер 18 декабря 1996 года в возрасте 92 лет и был похоронен на Новодевичьем кладбище в Москве.