Виктор Кац родился в 1943 году в Бугуруслане, где его родители находились в эвакуации из оккупированного в начале Великой Отечественной войны Кишинёва. После окончания войны семья вернулась в Кишинёв, где Виктор Кац окончил среднюю школу.
В 1965 году окончил Московский государственный университет, затем аспирантуру при нём под руководством Э. Б. Винберга, кандидатскую диссертацию по теме «Простые неприводимые градуированные алгебры Ли конечного роста» защитил в 1968 году. До 1976 года работал в Московском институте электронной техники, затем поселился в Бостоне и с 1977 года преподаёт в Массачусетском технологическом институте в Кембридже (с 1978 года — доцент, с 1981 года — профессор математического отделения).
Братья В. Г. Каца: Борис Гершевич Кац (Boris Katz) — американский математик в области информатики, профессор Массачусетского технологического института; Михаил Гершевич Кац (, р. 1958, Кишинёв) — израильский математик, выпускник Гарвардского и Колумбийского (Ph.D., 1984) университетов, профессор Университета имени Бар-Илана, автор монографии «Systolic Geometry and Topology» (Mathematical Surveys and Monographs, vol. 137. American Mathematical Society, 2007).