Обучался в Королевском военном колледже сначала по классу фагота, затем перешёл на кларнет в класс Джона Близзарда. По окончании колледжа продолжил военно-музыкальную службу в качестве ассистента дирижёра оркестра «Колдстримской гвардии» Чарльза Годфри, а выйдя через некоторое время в отставку, поступил в оркестр герцога Девонширского.
Первое публичное выступление Лазаруса датировано 2 мая 1838 года, вскоре он стал заметной фигурой в музыкальной жизни Англии, часто выступая в качестве солиста и камерного музыканта. С 1841 года он был солистом оркестра Королевского филармонического общества, а также имел многочисленные творческие связи с Королевской Итальянской оперой и Бирмингемским фестивалем.
Лазарус имеет большое значение как педагог, среди его учеников наиболее известен Чарльз Дрейпер. В 1854 году он получил место профессора в Королевской академии музыки, а в 1858 — в Кнеллер-холле. Лазарус также стал первым профессором класса кларнета в открытом в 1883 году Королевском музыкальном колледже. Исполнительскую карьеру музыкант завершил в 1891 году, преподавательскую — в 1894.
Игра Лазаруса отличалась элегантностью исполнения и чистым звучанием, идеально подходившим для камерного исполнения. Музыкант много экспериментировал с разными моделями кларнетов, остановившись на системе Эжена Альбера. Свои сочинения ему посвятили Артюр Клаппе, Хэмилтон Кларк, Джордж Осборн и другие композиторы. Сам Лазарус также является автором ряда сочинений для кларнета — фантазий, каватин, вариаций и др.