С 1875 года учился в гимназии в Шяуляй. В 1903 году поступил в Санкт-Петербургский университет, где сначала изучал естественные науки и математику, затем в 1904 году перевёлся на юридический факультет. Был деятельным членом тайного студенческого литовского общества и его председателем в 1907—1908 годах.
Осенью 1905 года, когда университет был закрыт из-за волнений, работал в типографии в Вильне. В 1906 году стал её заведующим. Был издателем газет «Науёйи Гадине» („Naujoji Gadyn?“), «Скардас» („Skardas“), «Жария» („?arija“), «Эхо», «Топор», в 1910—1911 годах — журнала "Висуомене" („Visuomen?“; «Общество»).
Участвовал в литовском хоре, принимал участие в первом публичном литовском спектакле в Вильнюсе «Князь Пиленай» („Pil?n? kunigaik?tis“. По возвращении в Петербург принимал участие в деятельности литовской социал-демократической организации. Окончив в 1909 году университет, в 1910—1911 годах работал помощником адвоката в Вильне. Был библиотекарем литовского общества «Рута», работал в библиотеке Литовского научного общества. В 1911—1912 годах служил в армии. В запас вышел в чине прапорщика. В 1912—1914 годах был адвокатом в Шавлях. Организовал тайный кружок школьников, в котором участвовал Юлюс Янонис и другие будущие деятели левой ориентации.
В 1914 году был мобилизован в армию. После Февральской революции избирался в армейские комитеты 11-й, затем 4-й армий. После большевистского переворота был арестован в Румынии, но бежал в Москву. В 1918 году был арестован как бывший офицер. Избежал расстрела, согласившись стать комиссаром просвещения в правительстве Винцаса Капсукаса в Вильнюсе (с января по март 1919 года).
В апреле 1919 года после того, как город заняли польские войска, был арестован и месяц провёл в Лукишской тюрьме. Работал учителем в литовской гимназии, женской гимназии Машётене, учительской семинарии общества «Ритас», преподавателем высших курсов Литовского научного общества (1919—1920). В 1920 году заведовал библиотекой университета. В 1920 году, когда Вильно вновь было занято польскими частями, пешком ушёл в Каунас.
Служил в Литовской армии (1920—1923), до 1925 года был преподавателем Высших офицерских курсов, одновременно работал помощником заведующего Государственной центральной библиотеки Э. Вольтера, членом Государственной археологической комиссии, с 1921 года — первым директором гимназии профсоюза учителей для взрослых. Организовал и до 1926 года руководил Народным университетом имени Винцаса Кудирки.
С 1922 года доцент юридического факультета Литовского университета (c 1930 года Университета Витовта Великого), с 1930 года ординарный профессор. На гуманитарном факультете преподавал библиографию и историю литовской книги. В 1922—1930 годах был секретарём юридического факультета, в 1933—1935 годах его деканом. В 1923—1944 годах директор библиотеки университета в Каунасе. Был председателем Общества библиотекарей Литвы (1931—1944).
В 1940—1941 годах директор библиотеки университета в Вильнюсе и декан юридического факультета. В 1941 году советскими властями удалён из Вильнюсского университета. Преподавал в Каунасе на философском факультете.
В июле 1944 года с приближением советских войск эмигрировал в Германию. Был профессором Балтийского университета в Гамбурге и Пиннеберге (1946—1949). С 1946 года почётный член Общества литовских писателей. В 1949 году переехал в США. Был почётным консультантом Библиотеки Конгресса в Вашингтоне (1951—1953).
С 1906 года сотрудничал в периодической печати. Автор свыше 13 тысяч статей в периодических изданиях и энциклопедиях и более чем 50 отдельных публикаций. Собирал библиографические материалы и редактировал библиографические издания «Книгос» („Knygos“; 1922—1926), «Библиографиёс жинёс» („Bibliografijos ?inios“; 1928—1943), был редактором продолжающегося издания «Мусу сянове» („M?s? senov?“; 1937—1940). В 1933—1944 годах редактор «Литовской энциклопедии» („Lietuvi?koji enciklopedija“), в 1953—1954 был главным редактором выходившей в США литовской энциклопедии („Lietuvi? enciklopedija“). Издавал архивные материалы. Одна из важнейших работ Биржишки — трёхтомный биобиблиографический справочник литовских писателей, писавших между 1475 и 1865 годам, изданный посмертно под названием „Aleksandrynas“ в Чикаго (1960, 1963, 1965).