Родился 5 мая 1902 года в Киеве в еврейской семье.
В 14 лет был рабочим сцены в театре в Петрограде. Изучал философию в Петроградском университете, посещал актёрскую школу, играл в спектаклях, был ассистентом режиссёра. С 1923 работал в кино, сначала ассистентом режиссёра, художником-постановщиком и сценаристом. В 1925 году снял в качестве режиссёра фильм «Татьяна».
В 1925 году покинул СССР и следующие десять лет работал в Германии, Англии и Франции. В Германии он был монтажером фильма Георга Вильгельма Пабста «Безрадостный переулок» (1925) и ассистентом режиссёра на многих постановках. В 1930 году стал режиссёром студии УФА.
Ещё до прихода к власти нацистов Литвак покинул Германию. Сняв один фильм в Англии, он работал во Франции. В 1937 году после большого успеха фильма «Майерлинг» (Mayerling, 1936) получил приглашение в Голливуд и в течение 20 лет снимал фильмы на студиях Уорнер Бразерс, Фокс и др. С 1937 по 1939 был женат на актрисе Мириам Хопкинс. В 1939 году поставил один из первых антинацистских фильмов — «Признания нацистского шпиона» (Confessions of a Nazi Spy).
Во время Второй мировой войны Литвак, получивший американское гражданство, служил в армии. Вместе с Фрэнком Капрой снимал документальные фильмы «Почему мы воюем» (Why We Fight). В 1944 году отвечал за киносъемки высадки союзников в Нормандии. Награждён многими орденами, уволен из армии в чине полковника. После войны вернулся в Голливуд, где по-прежнему пользовался репутацией крепкого ремесленника.
С 1950-х Литвак все чаще работал в Европе, а с начала 1960-х жил в Париже. Умер 15 декабря 1974 году.