Родился в городе Горки Могилёвской губернии в семье рабочего. В 1922 году переехал в Москву. В 1932 году окончил историко-экономическое отделение Московского государственного педагогического института. В том же году вступил в ВКП(б).
Два года проработал в спецотделе НКВД, которым руководил его тесть Г. И. Бокий. После окончания института стал работать в только что созданном (9 сентября 1933) Детиздате ЦК ВЛКСМ (в настоящее время издательство «Детская литература»).
В апреле 1938 года арестован. Провёл в лагерях 17 лет. Освобождён в 1955 году, реабилитирован и восстановлен в партии.
После освобождения вернулся к работе редактора, одновременно занимаясь созданием книг о путешественниках и учёных для детей. Тогда приступил к написанию мемуарной прозы, которая стала издаваться только в конце 80-х и принесла ему широкую известность.
В 1993 году подписал «Письмо 42-х». Был много лет членом Комиссии по вопросам помилования при Президенте Российской Федерации.
Похоронен на Востряковском кладбище.
Брат — Израиль Менделевич Разгон, доктор исторических наук, профессор, лауреат Государственной премии СССР.
Первая жена — Оксана Глебовна Бокий, дочь партийного деятеля и чекиста Глеба Бокия, была репрессирована, погибла в лагерях. Дочь — Наталья (ум. 2011).
Вторая жена — Рика Ефремовна Берг (ум. 1991), дочь видного деятеля правых эсеров Ефрема Соломоновича Берга.