Изучал латышскую филологию в Латвийском университете и опубликовал свой первый сборник поэзии в 1980 году. В 1968—1971 годах изучал турецкий язык на Кафедре востоковедения Ленинградского университета, также учился на отделении Востоковедения и африканистики МГУ (персидский и турецкий), в Ташкентском государственном университете (узбекский), Рейкьявикском университете (исландский), а также в Чехословакии, Швеции и других странах.
Переводит с польского, русского, древнеисландского, турецкого, азербайджанского, туркменского, персидского, древнееврейского, арабского языков, также знает иврит, татарский, чувашский языки.
Берзиньш участвовал в международном семинаре по переводу Библии в Амстердамском открытом университете и в форуме по вопросам переводов Корана Лундского университета. С 2002 года преподаёт турецкий язык на Факультете современных языков ЛУ.
Улдис Берзиньш перевёл на латышский язык библейские книги Иова, Псалтирь, Притчей, Экклесиаста и Ионы. В марте 2009 года Берзиньш закончил пятнадцатилетний перевод на латышский язык Корана.
Поэзия Берзиньша переведена на немецкий, шведский, эстонский, литовский, чешский, английский, исландский, болгарский и украинский языки.
Награды: премия Зинаиды Лазды (1994), орден Трёх звёзд (1995), премия Балтийской ассамблеи (1995) и премия Спидолы (2000).