С 14 лет играл на скрипке в городском оркестре. Изучал философию в Варшавском университете, занимался скрипкой у Эмиля Млынарского и композицией у Юлиуша Вертхейма. В 1921 г. перебрался в Берлин, где его занятия дирижированием поддержал Вильгельм Фуртвенглер, предоставивший Клецки в 1925 г. возможность выступать с Берлинским филармоническим оркестром. В 1933 г. Клецки, будучи евреем, уехал из Германии в Италию, затем в 1936 г. ненадолго оказался в СССР и наконец обосновался в Швейцарии. Здесь он стал первым руководителем созданного в Лозаннской консерватории класса дирижирования, закончил в 1939 г. свою Третью симфонию, посвятив её жертвам нацизма; кроме неё, Клецки-композитору принадлежат два струнных квартета, соната для скрипки и фортепиано, другие симфонические и камерные сочинения. В 1942 г. Клецки прекратил сочинять; по его словам, нацизм разрушил его дух и волю к творчеству.
В послевоенные годы Клецки стал значительным дирижёром, особенно известным своими интерпретациями симфоний Малера и Сибелиуса. В 1954—1955 гг. он возглавлял Ливерпульский филармонический оркестр, в 1958—1961 гг. Далласский симфонический оркестр, в 1964—1966 гг. Бернский симфонический оркестр, в 1966—1970 гг. Оркестр романской Швейцарии.