Александр Гинзбург родился 21 ноября 1936 года в Москве. Его отец, известный архитектор Сергей Чижов, был арестован в 1936 году по сфабрикованному делу, погиб в заключении в период «следствия» в начале 1937 года, за 2 месяца до рождения Александра. Дед по отцовской линии, известный археолог, погиб в Москве в 1918 году во время «красного террора». Бабушка, как православная верующая, отсидела на Лубянке в конце 1920-х годов около двух лет. Александр Гинзбург сам себя назвал в шутку «зеком в третьем поколении».
Мать — в молодости архитектор, впоследствии заводской экономист, умерла в 1981 году в эмиграции в Париже.
Учился в московской мужской школе № 12, где увлекался театром. После школы уехал работать актером и режиссером в Новосибирский ТЮЗ.
В 1956 году Александр Гинзбург увлекся журналистикой и поступил на журфак МГУ. Гинзбург учился на заочном отделении, работая в «Московском комсомольце». По его признанию, он никогда не писал статьи на советскую пропагандистско-идеологическую тематику.
В 1959—1960 годах Гинзбург осуществил свою давнюю мечту — составил и распространил среди своих друзей и знакомых самиздатский поэтический альманах «Синтаксис». В альманах были включены неопубликованные стихи Сапгира, Холина, Чудакова, Глазкова, Аронова, Окуджавы, Ахмадулиной, впервые напечатаны стихи Бродского и других поэтов. Каждый номер альманаха включал 10 авторов, каждый из которых был представлен пятью стихотворениями. Однако поэты давали в журнал значительно большее число своих произведений. Всего успели выйти три номера «Синтаксиса». А у Гинзбурга накопилось значительное количество неопубликованной поэзии.
Четвертый номер журнала «Синтаксис» был уже подготовлен, однако в июле 1960 года к Гинзбургу неожиданно нагрянули сотрудники КГБ, предъявив ордер на обыск «по подозрению в наличие антисоветской литературы». Материалы альманаха были изъяты. Почти исключительно поэтические тексты, по признанию Гинзбурга, по объему заняли у кагебистов «пол-грузовика». А сам Гинзбург был арестован по обвинению в антисоветской деятельности.
После безуспешных попыток КГБ найти улики и сформулировать политическое обвинение, следователи случайно узнали, что Гинзбург однажды сдал за товарища, будущего актера Александра Юдина, экзамен по сочинению на аттестат зрелости в вечерней школе. Гинзбург был осуждён «за подделку документов» к 2 годам тюрьмы (максимальный срок по данной статье). Отбывал срок в «смешанной зоне» на севере Кировской области в Вятлаге. После освобождения Гинзбург вернулся в Москву, работал по разным специальностям: рабочим музея, электриком, токарем и аварийным работником московской канализации. Основной зарплаты ему на жизнь не хватало и поэтому он с помощью друзей часто подрабатывал «литературным негром».
В 1966 году поступил на вечернее отделение Московского историко-архивного института.
См. статью: Дело Гинзбурга и Галанскова В 1966 году он составил сборник под названием «Белая книга» по делу писателей Андрея Синявского и Юлия Даниэля. Гинзбург лично принес пятый экземпляр машинописной закладки рукописи в приёмную КГБ СССР на Кузнецком мосту с предложением обменять публикацию книги на досрочное освобождение Синявского и Даниэля. Затем «Белая книга» была разослана во многие официальные инстанции СССР, депутатам Верховного Совета СССР, и в конце-концов опубликована за границей. В 1967 году был осуждён по ст. 70 УК РСФСР («Антисоветская агитация и пропаганда») на 5 лет лагерей. Наказание отбывал в мордовском политическом лагере ЖХ 385/17. После освобождения поселился в подмосковном город Таруса, так как по советским законам мог жить не менее чем за 100 км от Москвы (См. 101-й километр).
С апреля 1974 года был распорядителем «Русского общественного фонда помощи преследуемым и их семьям», созданного А. И. Солженицыным в Швейцарии. Являлся одним из учредителей Московской Хельсинкской группы. Неоднократно подвергался обыскам, допросам, задержаниям.
В 3 февраля 1977 года в рамках кампании по пресечению Хельсинкского движения в стране А. Гинзбурга в числе других активистов хельсинкских групп, по решению высшего политического руководства СССР, арестовали. 13 июля 1978 года приговорён к 8 годам лагерей особого режима за антисоветскую пропаганду. Освобождён 27 апреля 1979 года.
В 1979 году, в результате переговоров на высшем уровне между СССР и США, Александр Гинзбург вместе с ещё четырьмя другими политзаключёнными — Эдуардом Кузнецовым, Марком Дымшицем, Георгием Винсом и Валентином Морозом — был обменян на двух граждан СССР, сотрудников КГБ Р. Черняева и В. Эгерта, осужденных в США за шпионаж на срок по 50 лет тюремного заключения каждый.
По пути в Нью-Йорк в рейсовом самолете «Аэрофлота» в специально отведенном салоне пятерых политзаключенных охраняли 13 сотрудников КГБ.
Оказавшись за границей, Гинзбург сначала жил в США, потом во Франции. Жил в Париже с женой Ириной Жолковской-Гинзбург и двумя детьми. Руководил Русским культурным центром в Монжероне, затем, с середины 1980-х годов и до октября 1997 года работал в качестве обозревателя газеты «Русская мысль».
В Русской мысли Гинзбург делал еженедельные, обычно на две полосы, обзоры «Хроника текущих событий». Его супруга Арина была заместителем главного редактора Ирины Иловайской.
12 июля 2002 года Александр Гинзбург скончался в Париже. Похоронен на кладбище Пер-Лашез.