Элстон с ранних лет занимался баскетболом, играл на уличных площадках Квинса, был легендой среди игроков в уличный баскетбол.
В НБА Рафер играет с 2000 года, когда подписал свой первый контракт с клубом «Милуоки Бакс», выбравшем его на драфте. За три сезона в Милуоки Элстон большую часть времени провёл на скамейке запасных, дважды, в 2002 и 2003 годах, его направляли на стажировку в клубы младших лиг: «Айдахо Стэмпид» и «Мобил Ревелерс». Летом 2002 года Элстон стал свободным агентом и в сентябре присоединился к «Голден Стэйт Уорриорз», но после предсезонных игр его отчислили из команды.
В январе 2003 года, в разгар сезона, Элстон присоединился к «Торонто Рэпторс» и показал себя довольно неплохо в оставшихся матчах сезона. Летом 2003 года он как свободный агент перешёл в команду «Майами Хит», в составе которой под руководством Стэна Ван Ганди провёл удачный сезон — 82 сыгранных матча, из них 28 в стартовой пятёрке, 10.2 очка и 4.5 передачи в среднем за игру. В следующем сезоне Элстон вернулся в «Торонто Рэпторс» и стал основным разыгрывающим команды. 4 октября 2005 года его обменяли на Майка Джеймса в «Хьюстон Рокетс», которых возглавлял брат Стэна Ван Ганди, Джефф. В Хьюстоне три с половиной сезона Элстон был основным разыгрывающим.
19 февраля 2009 года Элстона обменяли в «Орландо Мэджик» в результате трёхсторонней сделки с участием «Мемфис Гриззлис». В «Мэджик», потерявшими накануне из-за травмы до конца сезона своего основного разыгрывающего Джамира Нельсона, Рафер вновь оказался под началом Стэна Ван Ганди, тренировавшего его один сезон в Майами.
25 июня 2009 года «Орландо Мэджик» обменяли Элстона, Кортни Ли и Тони Баттье в «Нью-Джерси Нетс» на Винса Картера и Райана Андерсона. 5 января 2010 года «Нетс» выкупили контракт Элстона. 7 января 2010 года Элстон подписал контракт до конца сезона 2009/2010 со своим бывшим клубом, «Майами Хит». 6 марта 2010 года Элстон был исключён из команды «Майами Хит» за пропуск тренировки и игры регулярного сезона без уважительной причины.
26 января 2011 года Элстон подписал контракт до конца сезона с китайским клубом «Чжэцзян Лайонс». В конце февраля он вернулся в США на похороны друга, после чего, ссылаясь на травму, не стал возвращаться в Китай, однако в клубе посчитали, что баскетболист симулирует травму и не собирается возвращаться в команду. В мае 2011 года Элстон был назначен баскетбольным тренером и спортивным директором христианской школы в Техасе.