В 1917 году окончил Институт инженеров путей сообщения в Петрограде.
Директор Гидропроекта с 1942 года до смерти, после смерти (с 1957 года) этот институт носит его имя.
Сергей Яковлевич Жук руководил изыскательскими и научно-исследовательскими работами, руководил проектированием и строительством крупнейших гидротехнических сооружений: Беломорско-Балтийского канала, канала имени Москвы, Волго-Донского комплекса (судоходный канал, Цимлянская ГЭС, орошение земель в Ростовской области), Волго-Балтийского водного пути, Угличской, Рыбинской, им. В. И. Ленина и других ГЭС на Волге.
В связи с тем, что при строительстве этих сооружений использовался труд политических заключенных, как один из руководителей строительства, Сергей Яковлевич Жук участвовал в сталинских репрессиях. Он упоминается в романе Александра Солженицынa «Архипелаг ГУЛАГ»:
Историки Гуверовского института сравнивают Сергея Яковлевича с нацистским преступником Адольфом Эйхманом.
Один из инициаторов знаменитого проекта по Повороту сибирских рек в Казахстан и Среднюю Азию.
Внёс крупный вклад в создание школы советских гидротехников.
Автор статьи «Волго-Дон» в книге «На великих стройках коммунизма», Саратов, 1951, стр. 84-90.
Депутат Верховного Совета СССР 1-го и 4-го созывов.
После смерти 24 июня 1957 году был кремирован, прах помещён в урне в Кремлёвской стене на Красной площади в Москве.