Окончил Пражскую консерваторию (1861), ученик Морица Мильднера. Концертировал в разных европейских странах, в том числе и во главе составленного из членов семьи Гржимали квартета. В 1862—1868 гг. концертмейстер Амстердамского симфонического оркестра. В 1869 г. по приглашению Николая Рубинштейна занял место ассистента при профессоре Московской консерватории Фердинанде Лаубе (в дальнейшем также женился на его дочери). После смерти Лауба в 1875 г. Гржимали занял его место и оставался профессором консерватории в течение 40 лет до своей смерти; он считается одним из создателей российской скрипичной школы. Среди многочисленных учеников Гржимали — Станислав Барцевич, Георгий Дулов, Павел Юон, Рейнгольд Глиэр, Владимир Бакалейников, Эммануил Крюгер, Иосиф Котек, Йоханнес Карл Паульсен…