Учился ивриту и Талмуду у берлинского раввина. Изучал математику, философию и иврит в Берлинском университете, где сблизился с Мартином Бубером, Вальтером Беньямином, Готлобом Фреге, Шмуэлем Агноном, Хаимом Нахманом Бяликом и др. В 1919 закончил Мюнхенский университет по специальности семитические языки.
В 1923 эмигрировал в Палестину, где сосредоточился на изучении иудейской мистики. Возглавил отдел иудаики в Национальной библиотеке, читал лекции в Еврейском университете Иерусалима. Первый преподаватель иудейской мистики в университете с 1933 по 1965, затем почетный профессор.
Один из основателей Израильской академии наук, в 1968—1974 — её президент.
В 1950—1960-х годах входил в круг международного и междисциплинарного ежегодника «Эранос», объединявшего исследователей архаики и мистики (К. Г.Юнг, К.Кереньи, М.Элиаде, А.Корбен, Л.Массиньон и др.).
Старший брат - Вернер Шолем, один из лидеров Коммунистической партии Германии, погиб в Бухенвальде в 1940.
Крупнейший исследователь каббалы, Шолем противопоставил свой подход к еврейской мистике, еврейскому языку и еврейскому мессианству (Шабтай Цви) позитивистским традициям исторических и филологических исследований иудаизма, сложившимся в Германии XIX в.
Работы Шолема по иудейской мистике оказали влияние на Борхеса (с которым он встречался в Иерусалиме), Умберто Эко, Жака Дерриду, Джорджа Стайнера, Харольда Блума. Шолем возражал против смертного приговора Адольфу Эйхману и критически отнесся к книге Ханны Арендт «Эйхман в Иерусалиме» (1963), увидев в ней недостаток солидарности с еврейством.
Государственная премия Израиля (1958) и др. Почетный доктор многих университетов мира.