Родился в Киеве в семье агронома, в детстве обучался дома немецкому языку. В 1926 его семья переехала в Харьков. По воззрениям был идеалистом-коммунистом. Впервые был арестован в марте 1929 за сочувствие к «бухаринско-троцкистской оппозиции» и провёл 10 дней в тюрьме.
Позднее работал редактором радионовостей на локомотивном заводе. В 1932, будучи одним из «тридцатитысячников», своими глазами наблюдал работу НКВД по ликвидации кулачества — эти наблюдения легли в основу книги его мемуаров «И сотворил себе кумира».
В 1933 поступил в Харьковский университет, а в 1935 перевёлся в Московский институт иностранных языков (факультет немецкого языка). Обучаясь в Харьковском университете, написал свои первые статьи на русском и украинском языках, некоторые из них были опубликованы в газете «Комсомольская правда». С 1938 преподавал в Московском институте философии, литературы и истории. В Москве установил дружеские отношения с немецкими эмигрантами-коммунистами.
В 1941 записался добровольцем в Красную армию. Благодаря своему знанию немецкого языка служил пропагандистом и переводчиком.
Когда в 1945 Советская армия вошла в Восточную Пруссию, он был арестован за резко критические отзывы о насилии над германским гражданским населением. Приговорён к 10 годам заключения за пропаганду «буржуазного гуманизма» и за «сочувствие к противнику». В «шарашке» Марфино встретился с Александром Солженицыным, стал прототипом Рубина в его книге «В круге первом».
Освобождён в 1954, реабилитирован в 1956. Всё ещё сохраняя оптимизм, он восстановился в КПСС. В 1957—1969 преподавал в Московском полиграфическом институте и Институте истории искусств.
С 1966 активно участвует в правозащитном движении. В 1968 исключён из КПСС и Союза писателей, уволен с работы за подписание протестных писем против преследования диссидентов, а также за критику советского вторжения в Чехословакию. Начал распространять свои книги через самиздат. В 1977 ему было запрещено преподавать и публиковаться.
Занимаясь историческими исследованиями по российско-германским культурным связям, поддерживал контакты с рядом немецких вузов. В течение многих лет дружил с известным немецким писателем Зигфридом Ленцем. В 1980 во время исследовательской поездки в Германию он был лишён советского гражданства. С 1981 — профессор Вуппертальского университета. Позднее — почётный доктор философии Кёльнского университета. В 1990 Горбачёв восстановил ему советское гражданство. Умер в Кёльне в 1997.
Копелев описал свою жизнь в трёх книгах: «И сотворил себе кумира» (1978), где рассказывает о детстве в юности (название указывает на осознание собственной вины); «Хранить вечно» — о конце войны и первом заключении; «Утоли мои печали» (1981) — книга названа по церкви, перестроенной позже под «шарашку», где он был в заключении.