Окончил Московский педагогический институт иностранных яэыков (1958). Как переводчик поэзии с английского языка публиковался с 1959 г., снискав репутацию одного из крупнейших мастеров стихотворного перевода, ведущего специалиста по англоязычной поэзии XX века. Классическими являются переводы Сергеева из Роберта Фроста, Карла Сэндберга, Джеймса Джойса, Уильяма Батлера Йейтса, Томаса Элиота, Дилана Томаса.
Как поэт входил в первую поэтическую группу неподцензурных московских авторов 1950-х — «группу Черткова». В поэтическом наследии Сергеева выделяются небольшие поэмы «Шварц» и «Розы», предвосхищающие плодотворную работу в этом жанре Елены Шварц (совпадение фамилий случайно). Первая публикация стихов Сергеева состоялась в 1993 в журналах «Новый мир» и «Новое литературное обозрение».
Проза Сергеева (первая публикация в 1990) распадается на две основные части: прозаические миниатюры иронически-абсурдистского плана (сам Сергеев называл эти тексты «рассказиками») и мемуарная проза, частично посвященная крупным литераторам, с которыми Сергеев тесно общался (Николаю Заболоцкому, Анне Ахматовой, Иосифу Бродскому, посвятившему Сергееву несколько значительных стихотворений, и др.), но главным образом рассказывающая о быте и нравах 1930-50-х гг. Из мемуарных глав, отличающихся большой наблюдательностью и скрупулезной точностью, Сергеев составил мозаичный по композиции текст «Альбом для марок» (1995), отмеченный Букеровской премией несмотря на то, что от романного жанра он достаточно далек.
Погиб, переходя улицу по дороге домой с литературного вечера, — был сбит джипом.