В 1846—1848 гг. учился во Франкфурте у Алоиса Шмитта, в декабре 1848 г. дебютировал публично как пианист в квинтете Людвига ван Бетховена для фортепиано и духовых инструментов. Затем занимался в Мангейме у Винценца Лахнера. В 1851 г. аккомпанировал скрипачке Терезе Миланолло в её гастрольном туре по Баварии. В 1852—1854 гг. работал в Лондоне.
С 1854 г. жил и работал в Чикаго. В 1873 г. основал Бетховенское общество — крупнейший смешанный хор в Чикаго — и руководил им на протяжении 12 лет.
По утверждению некоторых источников, Вольфсон был одним из первых в мире пианистов, начавших давать серии концертов, посвящённых одному композитору, — в частности, утверждается, что в начале 1860-х гг. он провёл цикл концертов из музыки Фридерика Шопена, а в 1873 г. исполнил все фортепианные сонаты Бетховена.
В 1861 г., с началом Войны Севера и Юга, написал музыку на стихи Дугласа Брюэртона «Боже, благослови Союз» (англ. May God Save the Union) — эта песня стала популярным гимном в армии северян. Вольфсону принадлежит ряд других песен, салонных фортепианных пьес, фортепианные переложения арий из оперы «Фауст» и др.
Был дружен с Теодором Томасом, поддерживал, в том числе и финансово, создание будущего Чикагского симфонического оркестра.
Среди учеников Вольфсона были Альфредо Барили, Фанни Блумфилд-Цислер, Августа Котлоу и др.