Окончил московскую спецшколу № 2 и Московский институт электронного машиностроения. Во второй половине 80-х редактор-издатель (вместе с Александром Барашом) одного из ведущих московских самиздатских проектов — альманаха «Эпсилон-салон». С 1993 г. вместе со Светой Литвак выступает организатором многочисленных литературных акций (ежегодный «Праздник рифмы», «Литературный карнавал», ряд выставок бук-арта и авторской книги) и перформансов (под эгидой учреждённого Байтовым и Литвак «Клуба литературного перформанса»). В 1997—2005 гг. куратор литературного салона «Премьера» с еженедельными выступлениями поэтов и прозаиков. Лауреат Сетевого литературного конкурса «Тенёта» (1998, I место в номинации «Рассказы»). Автор четырёх книг стихов и двух книг прозы, многочисленных публикаций в журналах и альманахах «Знамя», «Новый мир», «Черновик», «Улов» и др. Живёт в Москве.
Проза Байтова отличается изощрённым интеллектуализмом и сравнивалась критикой[кем?] с творчеством Хорхе Луиса Борхеса. Его рассказы часто, как и у Борхеса, строятся на явных или неявных отсылках к кардинальным проблемам философии и культурологии XX века; особенно занимает Байтова диалектика подлинного и фиктивного в самых разных её проявлениях. С этим связан и особый интерес Байтова к работе с документальным источником — как правило, не историческим, а частным; в ряде текстов Байтова читателю не представляется возможным определить, имеет ли он дело с тонкой стилизацией на грани пародии или с техникой ready-made, до Байтова в русской литературе почти не употреблявшейся.
В поэзии Байтова сразу обращает на себя внимание редкая изощрённость стихотворной техники: среди его излюбленных приёмов аллитерация, сложные и необычные виды рифмы и т. п. С чисто лирическими (в том числе пейзажными) стихами у Байтова соседствуют стихотворения, представляющие собой того или иного рода культурологический эксперимент и тем самым сближающиеся с его же рассказами.