Учился в городской школе в Пфорцгейме, был придворным певчим у маркграфа Баденского. Сын последнего, Фридрих, ровесник Рейхлина, подружился с ним и взял его с собой в Париж, где они оба изучали древние языки. В 1478 г. Рейхлин ещё раз посетил Францию и занимался в Орлеане и Пуатье юридическими науками. Став одним из советников вюртембергского герцога Эбергарда, он совершил вместе с ним ряд поездок по Германии и побывал в Италии, где усовершенствовался в еврейском языке, который стал изучать ещё в Париже. Из итальянских гуманистов наибольшее влияние на Рейхлина имели Марсилио Фичино и Пико делла Мирандола. По возвращении в Штутгарт Рейхлин стал асессором верховного суда и прокурором доминиканского ордена для Германии; часто исполнял и дипломатические поручения. Император Фридрих III возвёл его в дворянское достоинство. Позже Рейхлин был профессором в Гейдельберге, затем в Ингольштадте и Тюбингене.
Свои обширные знания Рейхлин изложил в целом ряде сочинений. Высшая и главная заслуга его — это изучение еврейского языка и еврейской теологии. В 1494 г. вышел трактат Рейхлина: «De verbo mirifico», в 1506 г. — «De rudimentis hebraicis», в 1517 г. — «De arte cabbalistica libri V», в 1518 г. — исследование об ударениях и орфографии еврейского языка. «De verbo mirifico» служит как бы введением к книге «De arte cabbalistica», в которой он синтезировал христианское мировоззрение с Каббалой.
В этих двух трудах Рейхлин останавливается на новопифагорейской и каббалистической философии. Под Verbum mirificum разумелось в Каббале «tetragrammaton» — то есть таинственное состояние четырёх букв Ihvh, «несравненное наименование, не изобретённое людьми, а дарованное им Богом».
Первая буква этого слова, соответствуя числу 10, означала, по пифагорейскому толкованию, начало и конец всех вещей, вторая равнялась 5 и означала соединение Божества (триединства) с природой (двуединства по Платону и Пифагору); третья означала 6 и представляла результат единства, двуединства и триединства (1+2+3=6); последняя снова соответствовала 5, но обозначала уже человеческую душу. Прием каббалистики является синтезом воззрений еврейских, греческих античных и христианских.
По мнению Рейхлина, новопифагорейское учение было тесно связано с каббалой; оба стремились возвысить дух человеческий до Бога, оба проповедовали преображение земной жизни и необходимость подготовки к небесному блаженству. «De rudiments hebraicis» —Наполовину грамматика, наполовину словарь еврейского языка, с еврейским текстом для упражнений. Рейхлин воспользовался для этого труда материалом, собранным средневековым лексикографом и грамматиком Давидом Кимхи. Труды Рейхлина по еврейскому языку были в высшей степени ценны как для богословов, так и для филологов. Только со знанием еврейского языка возможна была проверка некоторых частей Вульгаты на предмет правильности перевода. Вульгате сам Рейхлин противопоставлял «Veritas hebraica».
Лютер высоко ценил Рейхлина, называя его своим отцом; учениками его были Меланхтон и Эколампадий. В 1509 г. Рейхлин вызван был на спор крещёным евреем Пфефферкорном. Продолжительный литературный конфликт, возникший между обоими, по справедливости считается высшим пунктом развития немецкого гуманизма. Пфефферкорн предложил сжечь все еврейские книги и силой заставить евреев посещать христианские храмы. Рейхлин выступил против этого предложения. Он подразделял все еврейские книги на несколько категорий (Св. Писание Ветхий Завет, Талмуд и т. д.) и доказывал, что в каждой из них есть много полезного для христиан.
Уничтожение всех еврейских книг евреи сочли бы за доказательство того, что христиане сами не уверены в правоте своего дела. Рейхлин советует открыть в каждом немецком университете, на 10 лет, по две кафедры еврейского языка. В заключение он напоминает, что свобода вероисповедания гарантирована евреям самими императорами. Пфефферкорн, в трактате «Handspiegel», резко и грубо задел Рейхлина, обвиняя его даже в подкупе евреями. Рейхлин отвечал брошюрой «Augenspiegel», где взывал к солидарности всех учёных сил Германии против Пфефферкорна и его партии. Кельнские доминиканцы, с Гохстратеном во главе, не могли оставить без ответа брошюру Рейхлина; спор последнего с Пфефферкорном был перенесён на церковный форум. Богословский факультет кельнского университета потребовал от Рейхлина, чтобы он изъял из продажи все свои сочинения за евреев и публично отрекся от Талмуда.
Завязалась бесконечная литературная борьба Рейхлина и его сторонников с кельнскими обскурантами. Император Максимилиан, курфюрст майнцский и все гуманисты приняли сторону Рейхлина. Кельн и Майнц сделались центрами 2-х противных направлений — обскурантизма и гуманизма. Папа Лев X, к которому обратились в разгар спора, очень либерально отнёсся к Рейхлину, и повелел даже открыть кафедру еврейского языка в Риме. Только в 1520 г, когда реформационное движение стало грозить Риму, папа изменил своё отношение к рейхлиновскому делу и издал указ против Рейхлина. Рейхлиновский спор вызвал выход в свет знаменитого сборника: «Письма тёмных людей», в котором, однако, сам Рейхлин участия не принимал.
Рейхлин был не только гебраистом, но и выдающимся филологом-классиком. Его именем часто называется то греческое произношение (так называемое «рейхлиново чтение»), которое, в противоположность эразмовскому этацизму, обозначается словом итацизм.
Статуя Рейхлина входит в состав памятника реформации, воздвигнутого в Вормсе.
В честь Рейхлина названа медаль города Пфорцхайм, присуждаемая за выдающиеся немецкоязычные работы по гуманитарным наукам каждые два года по представлению Гейдельбергской академии наук, начиная с 1955 года. Медаль была учреждена в ознаменование 500-летия со дня рождения Рейхлина и сопровождается денежным призом в 12500 евро.