К.Гольдмарк родился в семье кантора-еврея в небольшом венгерском городке на озере Балатон. В 1834 году его семья переехала в Дойчкройц в Бургенланде (ныне Австрия), где живёт в бедности. В 11 лет Карл начал учиться игре на скрипке, на протяжении трёх лет занимался в музыкальной школе в городе Шопрон. В 14 лет он приехал в Вену, полтора года занимался под руководством Леопольда Янсы, далее предполагал поступить в Венскую консерваторию, но этому помешали революционные события 1848 года, а также недостаток денег. С 18 лет Гольдмарк начал выступать как скрипач, много лет служил скрипачом в Карловом театре Вены, где изучал также игру на фортепиано, однако как композитор остался самоучкой. В 1863 году Гольдмарк получает от министерства образования поощрительную стипендию по музыке.
В 1858 году Гольдмарк впервые выступил с исполнением музыкальных произведений собственного сочинения. В начале 1860-х годов он играл в составе струнного квартета, благодаря чему познакомился с Иоганнесом Брамсом, который затем стал его близким (несмотря на имевшие место расхождения) другом. Вместе с Брамсом Гольдмарк совершил путешествие по Италии, посетил Баден и Клостернойбург. Кроме Брамса, композитор был близко знаком и с семьёй Иоганна Штрауса (младшего), работал совместно с Густавом Малером, дирижировавшим премьерами трёх опер Гольдмарка (Домик у кузницы (1896), Военнопленные (1899) и в новой постановке Царицы Савской (1901)). Впрочем, отношения между Малером и Гольдмарком были довольно натянутые после того, как последний в составе комиссии венского Общества друзей музыки в 1881 году присудил Бетховенскую премию, на которую претендовал Малер, его консерваторскому учителю Роберту Фуксу.
Первый успех к Гольдмарку как к композитору пришёл в 1865 году с увертюрой Сакунтала, исполненной на 4-м филармоническом концерте сезона 1865/1866 годов. Наиболее известным произведением композитора является созданная им в 1871 году опера Царица Савская, шедшая на сцене Венской оперы вплоть до 1936 года. Наиболее почитаемыми Гольдмарком музыкальными сочинителями были Феликс Мендельсон, Роберт Шуман и Рихард Вагнер, с которым Гольдмарк встречался в 1860 году. Занимался педагогической деятельностью, среди учеников Гольдмарка следует назвать такого мастера, как Ян Сибелиус. Сам же Гольдмарк на рубеже XIX—XX веков считался одним из наиболее талантливых композиторов современности и был очень популярен. В Венгрии он был почётным доктором Будапештского университета и до настоящего времени считается «национальным композитором» этой страны. Похоронен на Старом еврейском кладбище Вены.
В 1925 году одна из площадей Вены была названа именем Гольдмарка. В городке Дойчкройц в 1980 году был открыт музей композитора. Племянник Гольдмарка — известный американский композитор и пианист Рубин Гольдмарк.