Ярослав Галак начал профессиональную карьеру в клубе словацкой экстралиги «Слован» (Братислава) в возрасте 17 лет. Летом 2003 г. он был задрафтован «Монреаль Канадиенс». Первые четыре года за океаном Галак провел в фарм-клубах «Монреаля», сначала из-за локаута, а затем из-за сильной конкуренции — основными вратарями «канадцев» были Кристобаль Юэ и Дэвид Айбишер. В составе «Гамильтон Булдогс» (команда АХЛ) Галак обновил несколько клубных рекордов: по числу матчей на ноль и проценту отраженных бросков.
В НХЛ Галак дебютировал 15 февраля 2007 г., когда из-за травмы Юэ «канадцам» срочно понадобился голкипер. Вскоре, 20 марта, Галак отметился первым шатаутом в лучшей лиге мира — «Монреаль» выиграл у «Бостон Брюинс» со счетом 1:0, а Галак отразил 30 бросков. Игра Галака привлекла внимание тренерского штаба сборной Словакии: Юлиус Шуплер вызвал его на чемпионат мира в Москве, где молодой вратарь провел 2 матча.
Перед началом сезона 2007/08 Галак был отдан обратно в «Булдогс», однако с уходом Юэ окончательно вернулся в «Монреаль». Поначалу Галак примерно поровну делил игровое время с одноклубником Кэри Прайсом, но к концу сезона 2009/10 словак вытеснил своего конкурента из стартового состава «канадцев». В плэй-офф ворота «Монреаля» защищал именно Галак.
В шестой игре серии 1/8 финала между «Канадиенс» и «Вашингтон Кэпиталз», которая закончилась победой команды из Квебека (4:1), Галак отразил 53 броска и установил клубный рекорд по количеству сэйвов в одном матче, принадлежавший ранее легендарному Кену Драйдену.
В феврале 2010 г. Ярослав Галак принял участие в Олимпийских играх в качестве основного вратаря сборной Словакии. Он провел все игры без замен и помог своей сборной добиться лучшего результата за всю историю выступлений на ОИ — занять четвертое место.
17 июня 2010 года в результате обмена Галак перешел в «Сент-Луис Блюз».