Учился в Вене у Йозефа Бёма. Служил органистом в родной Блатне, затем в Пльзене. Пятеро детей Гржимали-старшего — Мария, Войтех, Ян, Яромир и Богуслав — стали заметными музыкантами.