Окончил Финляндский кадетский корпус. Из корпуса выпущен подпоручиком в Лейб-гвардии Семёновский полк. После окончания академии — адъютант в управлении финских войск.
В 1896 году окончил Николаевскую академию Генерального штаба по первому разряду.
В 1900—1901 годах, участвовал в походе против Китая, а затем исполнял должность заведующего передвижением войск в Иркутском районе. Подполковник.
В 1901—1906 — Военный агент в Афинах, а в 1906 г. — в Константинополе. В 1904 г. — полковник и в 1910 г. — генерал-майор — «за отличие по службе». Считался одним из самых выдающихся военных агентов русской армии.
В январе 1913 г. назначен командиром 1-й бригады 1-й Гренадерской дивизии в Москве, но в должность не вступил, так как по настоянию министра иностранных дел Сазонова был назначен арбитром — российским посредником по спорным пограничным вопросам между Болгарией и Сербией после второй Балканской войны 1913 года. После окончания миссии он был принят Императором Николаем II, который выразил ему свою благодарность.
На фронт Первой мировой войны выступил командиром бригады 53-й пехотной дивизии. Кавалер ордена святого Георгия 4-й степени.
В феврале 1915 г. во время Августовской операции вместе с частями 20-го армейского корпуса попал в окружение в Августовских лесах и был взят в плен.
В плену находился в особом лагере на острове Дальголм неподалеку от города Штральзунда. В апреле 1917 г. был освобожден из плена в порядке обмена офицерами-инвалидами между Россией и Германией и находился в Норвегии, где в Лиллехаммере был расположен лагерь для русских солдат, освобожденных из плена.
Зимой 1918—1919 гг., будучи проездом в Лондоне, принял должность помощника генерала Геруа, назначенного адмиралом Колчаком председателем Особой военной миссии по оказанию материальной помощи армиям генерала Миллера на Севере и генерала Юденича под Петроградом. В марте 1919 г. был назначен генералом Щербачевым (тогда представителем всех русских Белых армий при союзных правительствах и союзном Верховном Командовании) главой русской военной делегации в Берлине, представлявшей все Белые армии. В то же время генерал Хольмсен был назначен русским представителем в союзной комиссии по получению сдаваемого Германией оружия (согласно Версальскому договору). Захваченное Германией русское вооружение должно было быть передано Белым армиям. Помимо этих обязанностей генерал Хольмсен, произведённый в генерал-лейтенанты, занимался устройством русских офицеров, прибывших из Киева после немецкой оккупации и из Прибалтики после отступления Северо-Западной армии генерала Юденича. В 1920 г. генерал Хольмсен становится представителем Русской армии генерала Врангеля и остается на этой должности до 1 апреля 1922 г. В связи с назначением представителя генерала Врангеля в Париже генерала Е. К. Миллера начальником штаба Русской армии и его отъездом в Сербию, генералу Хольмсену было предложено принять представительство в Париже, что он и сделал, сдав дела в Берлине генералу фон Лампе.
С переездом в Париж в апреле 1922 г. генерал Хольмсен становится представителем генерала Врангеля во Франции, а затем, с организацией РОВСа, — начальником его 1-го отдела в Париже. Состоял на этой должности до января 1930 г., когда, после похищения генерала Кутепова, председателем РОВСа стал генерал Е. К. Миллер. Был им назначен главным казначеем РОВСа и состоял в качестве генерала для поручений при председателе РОВСа. После похищения генерала Миллера в 1938 г. сдал свои должности по РОВСу и перед самым началом Второй мировой войны переехал в Норвегию.
Скончался в Осло 19 марта 1941 г.