С 1992 года по 1999 год Караваев провёл в сборной Латвии 38 игр. Он конкурировал с Раймондом Лайзансом, который играл в «Сконто», но ему всё-таки удалось провести на 7 игр больше. Караваев участвовал в некоторых исторических для Латвии играх, например, в 1992 году в играх с Данией, тогдашним чемпионом Европы, и Испанией, одной из сильнейших сборных мира. В своих последних играх в 1999 году против Греции и Албании ему также удалось сохранить ворота в неприкосновенности — две нулевые ничьи.