Родился в Санкт-Петербурге в семье известного ученого-семитолога, Д. А. Хвольсона — исследователя древне-еврейской культуры и профессора Санкт-Петербургского университета. Получив среднее образование в гимназии Карла Мая, Хвольсон в 1869 года поступает на физико-математический факультет того же университета, который заканчивает в 1873 году с золотой медалью за сочинение «О возможных скоростях и условиях равновесия соприкасающихся поверхностей».
До осени 1874 года изучает математику и физику в Лейпцигском университете, в 1875 году сдает магистерский экзамен, и в следующем году защищает магистерскую диссертацию «О механизме магнитной индукции в стали».
В 1876 году Хвольсон возвращается в Россию и начинает чтение лекций в Санкт-Петербургском университете в качестве приват-доцента. Одновременно он преподаёт физику в знаменитой немецкой школе Петришуле. В 1880 году Хвольсон защищает докторскую диссертацию «О магнитных успокоителях», а затем с 1886 по 1894 год состоит профессором физики в Техническом училище почтово-телеграфного ведомства. В 1890 году Хвольсона назначают экстраординарным профессором Санкт-Петербургского университета, а с 1891 года он также читает физику на Высших женских курсах. В 1896 и 1897 годах читает курс электричества в Артиллерийских офицерских классах в Кронштадте.
В 1895 году Хвольсон становится членом-корреспондентом Санкт-Петербургской академии наук и членом Ученого комитета Министерства народного просвещения, а в 1920 году — избирается почётным членом Российской академии наук.
Труды Хвольсона касаются почти всех разделов физики, включая работы по магнетизму, по теплопроводности и по диффузии света. Большую известность приобрели его работы по актинометрии. Создал конструкции актинометра и пиргелиометра, которые долгое время применялись в России.
После 1896 года Хвольсон занимался главным образом составлением пятитомного «Курса физики», который в значительной мере содействовал поднятию уровня преподавания физики и долгое время оставался основным пособием в советских вузах. Этот курс был переведён на немецкий, французский и испанский языки.
Множество научных работ Хвольсона издавались в «Записках Академии наук», «Журнале Физико-химического общества», «Annalen der Physik», «Bulletin de l’Acad.», «Repert f?r Physik», «Zeitshr. f?r Mathem.», «Метеорологическом сборнике», журнале «Электричество» и в других научных и популярных изданиях.
Его именем также назван кратер на Луне — кратер Хвольсона (англ. Khvol’son crater).