Окончил католическую Виленскую духовную семинарию, католическую Императорскую Петербургскую духовную академию. Магистр философии (1912; тема диссертации: «Нравственные принципы Владимира Соловьёва»). Также изучал физику, химию, геологию, минералогию, биологию, анатомию, физиологию, политическую экономию. В 1913 совершенствовался в Страсбургском университете. Владел девятью иностранными языками.
Был рукоположен в священники. Во время Первой мировой войны (с 1915) был военным капелланом в госпитале. Преподавал в виленской гимназии. С 1916 являлся профессором Виленской духовной семинарии. С 1922 года профессор Литовского университета в Каунасе (с 1930 года Университет Витаутаса Великого), руководил кафедрой теоретической и экспериментальной психологии. Один из основателей Литовской академии наук и искусств.
С 1923 — прелат. В 1925—1926 был министром иностранных дел Литвы как представитель христианско-демократической партии.
С 1926 — титулярный епископ Тиддитанский, коадъютор епископа Вилкавишского. Автор статей по вопросам психологии, этики, богословия, педагогики. В 1939 опубликовал монографию «Проблемы расизма». По словам профессора Оны Воверене, в этой работе епископ Рейнис
В июле 1940, после переноса в Вильнюс столицы Литовской Республики, епископ Рейнис был назначен помощником архиепископа Вильнюсского Ялбжиковского в сане титулярного архиепископа Ципселенского. В июне 1942, после депортации архиепископа, он стал управляющим епархией в должности апостольского администратора Могилёва и Минска. 22 августа 1942 он сообщал в Рим об аресте пятидесяти священников; шестеро были приговорены к смерти. Епископу Рейнису удалось добиться открытия закрытой немецкими властями Вильнюсской духовной семинарии (в феврале 1945 она была вновь закрыта, на этот раз органами советской власти).
В 1947 епископ был арестован, приговорён к длительному сроку лишения свободы, который отбывал во Владимирской тюрьме, где и скончался. В католическом храме города Владимира есть памятная доска с именами репрессированных священнослужителей, на которой значится и имя епископа Рейниса.