Чжан, начал плавать в шесть лет и на сегодняшний день является самым быстрым пловцом вольным стилем в Китае. Он вошёл в национальную сборную в 2002 году. В 2003 году на чемпионате мира по водным видам, он был единственным китайским пловцом, который достиг финала, в конечном итоге финишировав на восьмом месте. В 2005 году на национальных играх он побил рекорд Китая на дистанции в 400 м вольным стилем, а также стал чемпионом на дистанциях в 200 м и 1500 м вольным стилем.
Чжан Линь завоевал серебряную медаль на дистанции в 400 метров вольным стилем на летних Олимпийских играх 2008 в Пекине со временем 3:42.44, лишь на 0,58 секунды отстав от золотого медалиста, южнокорейца Пак Тхэ Хвана. Этот результат сделал его третьим по времени, на дистанции в 400 метров вольным стилем, в истории (а также этот результат стал национальным рекордом Китая). Серебро Чжана является лучшим достижением на Олимпиадах среди китайских пловцов-мужчин.
На чемпионате мира по водным видам в Риме в 2009 году, Чжан выиграл бронзовую медаль в мужских соревнования на дистанции в 400 метров вольным стилем и золотую медаль на дистанции в 800 метров вольным стилем (7:32.12). Финиш с золотой медалью стал и мировым рекордом, что произошло впервые в истории китайского мужского плавания за последние 73 года.
Тренеры Чжана — Чжан Ядун и Чэнь Инхун. Он также тренировался в конце 2007 года в Австралии у Дэниса Коттерелла, который является бывшим тренером чемпиона Гранта Хэкетта.