Был задрафтован «Торонто» во втором раунде под общим 24-м номером, но в команде не прижился, и не проведя ни одного матча был обменян в «Монреаль» на Грега Хубика.
В «Монреале» его карьера быстро пошла в гору. Джарвис образовал блестящую связку с Бобом Гейни и выиграл 4 Кубка Стэнли (1976, 1977, 1978, 1979). В 1981 году Джарвис перешел в «Вашингтон Кэпиталз». Там он проявил себя как мастер защитной игры и в 1984 году получил «Селки Трофи» — награду лучшему нападающему оборонительного плана. В 1985 году Джарвис перешел в «Хартфорд Уэйлерз». 11 октября 1987 года Джарвис прервалась невероятная серия Джарвиса — 964 матча в регулярных сезонах НХЛ подряд. Он побил рекорд Гэрри Ангера, сыгравшего 914 матчей подряд. За этот рекорд он получил «Билл Мастертон Трофи» в 1987 году.
Концовку сезона 1987-1988 Джарвис также провел в составе «Уэйлерз», но уже из города Бингхэмптон, и игравшего в АХЛ. В нем он и завершил профессиональную карьеру.
После завершения карьеры Джарвис был помощником тренера «Далласа» и выиграл Кубок Стэнли в 1999.