Йонас Баужа — воспитанник футбольного клуба «Спартак» Вильнюс.
В 1959 году дебютировал за вильнюсский «Спартак», который в то время выступал в классе «Б» чемпионата СССР. В своём дебютном сезоне Йонас сразу стал основным вратарём клуба и провёл за команду 21 игру из 28, пропустив всего лишь десять мячей. По итогам сезона команда заняла пятое место в чемпионате.
Следующий сезон команда Йонаса начала в классе «А». За вильнюсский клуб Баужа выступал до 1962 года. В летнее межсезонье он покинул команду и присоединился к московскому ЦСКА. В дебютном сезоне Йонас провёл за армейцев 28 матчей из 32 и занял вместе с клубом четвёртое место. В сезоне 1964 года он вместе с ЦСКА завоевал свои первые медали, заняв третье место в чемпионате, годом позже он повторил этот результат.
В составе «армейцев» Баужа выступал 7 лет, проведя 144 матча в чемпионате и 6 матчей в кубке СССР, дважды (в 1964 и 1965 годах) был бронзовым призёром первенства СССР. Также вызвался в состав сборной СССР на отборочные матче чемпионата Европы, но на поле не выходил.
По окончании сезона 1968 года Баужа покинул ЦСКА и перешёл в московское «Динамо», однако там он не смог выиграть борьбу за место в стартовом составе у Льва Яшина и провёл за полтора года в клубе всего три матча. Не выдержав конкуренции в основе «бело-голубых», Баужа в перешёл московский «Спартак».
В составе нового клуба дебютировал 10 мая 1970 года. В 1970 году Йонас Баужа вместе со «Спартаком» стал бронзовым призёром чемпионата, а в 1971 году стал обладателем Кубка СССР. В «Спартаке» Баужа провёл 2 сезона, и этот выигранный во втором из них трофей — кубок СССР — свой единственным за карьеру, причём в этих матчах он был игроком основы «красно-белых», проведя 6 игр.
В 1972 году футболист перешёл в одесский «Черноморец», выступавший в первой лиге, в котором он и завершил свою футбольную карьеру.