Родился в семье юриста, занимался в литературной студии Дома пионеров под руководством Михаила Светлова. В 1939 поступил в МИФЛИ, но уже в сентябре того же года призван в армию. Шесть с половиной лет прослужил на Дальневосточном фронте.
Окончил филологический факультет МГУ (1950). Первую книгу переводов (с армянского) выпустил в 1952 году. В дальнейшем занимался в основном переводами с немецкого. Автор классических переводов немецких народных песен и баллад, поэзии вагантов, поэтов XVII века.
Его вольный перевод песни вагантов «Hospita in Gallia» из сборника Carmina Burana, первоначально опубликованный под названием «Прощание со Швабией», стал популярной песней «Во французской стороне…» (музыка Давида Тухманова).
Написал также несколько книг антифашистской публицистики, в которых описал свои многочисленные поездки в ГДР и в ФРГ.
Был председателем секции переводчиков Московского отделения Союза писателей СССР.
Дочь Ирина Гинзбург — переводчица (И.Грицкова), мемуарист.
Зять — композитор Александр Борисович Журбин.
По мнению Вольфганга Казака, в своей публицистике Гинзбуг, «говоря о Федеративной Республики Германии, автор придавал непомерное значение проблеме возрождения в стране духа национал-социализма, не соответствующее политической реальности 60-х гг.; говоря о военных преступлениях, Гинзбург рассматривает их очень односторонне, обвиняя только одних немцев; противопоставление двух германских государств фальсифицировано и тенденциозно». В. Казак полагал также, что «переводы Гинзбурга имеют большое значение, а его публицистика важна лишь для понимания того искажённого образа Германии, который существовал в то время».