Учился в московском Синодальном училище (1893—1900). В 1908 окончил Петербургскую консерваторию (класс теории композиции Н. А. Римского-Корсакова и класс дирижирования Н. Н. Черепнина).
В 1904—1906 и 1913—1917 — старший учитель пения (дирижёр), 1917—1935 главный дирижёр, в 1917—1921 заведующий, в 1922—1930 директор Петербургской капеллы. По инициативе Климова в 1927 из Голландской церкви в Капеллу был перенесён орган.
В 1921 участвовал в организации Оперной студии Петербургской консерватории, которой впоследствии руководил. В 1922—1923 член правления Консерватории.
В 1925—1927 директор и художественный руководитель Ленинградской филармонии.
Выдающийся музыкант, обладавший тонким слухом, музыкальной памятью, чувством стиля, художественным вкусом, Климов создал хоровой коллектив, владевший многообразными музыкальными формами — от простой песни до монументальных произведений классической и современной музыки. Стремясь к созданию нового репертуара, Климов сделал ряд переложений для хора (сочинения И. С. Баха, В. А. Моцарта, Л. Бетховена, Р. Шумана, П. И. Чайковского, М. П. Мусоргского и др.), представляющих самостоятельный интерес. Некоторые из них исполняются до сих пор («Грёзы» Шумана, «Неаполитанская песня» Чайковского, «Музыкальная табакерка» Лядова, «Песня о блохе» Мусоргского и др.).
Климов вёл большую педагогическую работу. Преподавал теоретические предметы, оперный ансамбль, руководил хоровым классом в Петербургской консерватории (с 1908; с 1916 профессор), преподавал также в хоровом техникуме Капеллы. Автор учебника сольфеджио и других учебных пособий. Принимал участие в организации Народной консерватории в Ленинграде.