Отец — инженер, мать — врач. Окончил филологический факультет Ленинградского университета (1967), кандидат филологических наук, специалист по английской литературе. В 1967-1973 преподавал английскую литературу в ЛГПИ, одновременно учился в аспирантуре. В 1974 г. эмигрировал в США. В 1974-1977 преподавал русский язык и литературу в Монтеррее. В 1977-1981 учился в аспирантуре Калифорнийского университета в Беркли на отделении славистики.
Защитил диссертацию «Сатира и юмор Зощенко» (1981) в Беркли, был профессором русского языка и литературы в Бостоне. Опубликовал монографии «О поэзии Иосифа Бродского» (1984), «Булгаков и Пастернак как романисты» (1984), «Техника комического у Зощенко» (1986).
Стихи начал публиковать в 1976 г. Наряду с традиционной, хотя и отличающейся легкостью слога и ритма, лирикой Крепс с самого начала обращался к эффектным и парадоксальным образам, мотивированным зачастую звуковыми соответствиями:
Особый интерес Крепса вызывали палиндромы — как цельные палиндромические тексты, так и, что встречается реже, инкрустация палиндромных строк в ткань лирического стихотворения на правах ключевого, акцентированного стиха (ср. первую строку в приведенной цитате).