Родился в Литве. Учился в Санкт-Петербургской консерватории по классу скрипки у Леопольда Ауэра. С 1898 г. в США. С 1902 г. руководил Молодёжным симфоническим оркестром Нью-Йорка (англ. Young Men’s Symphony of New York), через который прошли ряд заметных в дальнейшем музыкантов (например, в 1907 г. в нём играл 15-летний Ричард Бургин). В 1904—1914 гг. одновременно возглавлял «взрослый» коллектив — Симфонический оркестр Вольпе. С 1918 г. дирижировал летними концертами на стадионе Левисона.
Вольпе рассматривал свою деятельность как популяризаторскую. В своей статье в New York Times в 1912 г. он подчёркивал, что вследствие постоянного столкновения с серьёзным репертуаром вкус и взыскательность публики растёт, и она уже не удовлетворяется широко распространёнными военными оркестрами, а проявляет интерес к творениям мастеров. Музыкальное сообщество Нью-Йорка ценило работу Вольпе; так, по случаю завершения второго сезона летних концертов на стадионе Левисона музыкальная общественность города дала в честь Вольпе званый обед, на котором присутствовали такие ключевые фигуры, как Леопольд Ауэр, Осип Габрилович, Наан Франко и др.
В 1926 г. основал и возглавил Симфонический оркестр Университета Майами, остававшийся основным симфоническим коллективом Южной Флориды вплоть до 1969 г. В 1931 г. по заказу администрации города Канзас-Сити сформировал городской оркестр из 88 музыкантов и продирижировал его первым концертом.
Вдова Вольпе, певица Мария Михельсон-Вольпе опубликовала книгу о своём муже (англ. Arnold Volpe: Bridge between two musical worlds; University of Miami Press, 1950). Именем Вольпе названо одно из зданий Школы музыки Университета Майами (открыто в 1954 г.)