Ида Герхарди родилась в семье врача. После смерти отца в 1869 году семья переезжает в Детмольд, где Ида провела следующие 20 лет. В 28-летнем возрасте она начинает изучать живопись — сперва в мюнхенской женской академии местного Союза художниц, главным образом у пейзажистки Тины Блау. В 1891 году продолжила обучение в Париже, в академии Коларосси, так как поступить в государственную академию тогда для женщины было сложно. По воспоминаниям Кете Кольвиц, «Ида Герхарди ночь за ночью проводила за набросками в кафешантанах Монмартра; танцовщицы знали её и на время танца оставляли под её присмотром свои вещи».
В Париже Герхарди была дружна с художницей Ёлкой Розен и её мужем, композитором Фредериком Делиусом. С 1900 года И.Герхарди была творчески связана со скульптором Огюстом Роденом, позднее вошла в круг художников-монпарнасцев.
Герхарди много сделала для развития германо-французских культурных связей. Во время жизни в Париже она поддерживала тесный контакт с такими деятелями немецкой культуры, как Мария Сланова, Франц Нёлькен, Вильгельм Уде и др., занималась популяризацией современного французского искусства в Германии. И.Герхарди является организатором ознакомительных выставок как в Берлине (Выставка французского искусства в салоне Шульте, 1907 год), так и в Париже (Выставка немецкого искусства на Елисейских полях, 1910 год). Герхарди также познакомила хагенского коллекционера Карла Эрнста Остхауза с творчеством Родена и Аристида Майоля, поспособствовав покупке их произведений.
В 1913 году, в связи с болезнью, художница вынуждена оставить своё парижское ателье и переезжает к родственникам в Люденшайд.
В начале своего художественного пути И.Герхарди работала больше над пейзажами, была приверженцем Барбизонской школы. Позже писала в основном портреты. Начиная с 1900 года испытала сильное влияние постимпрессионистов и фовистов, а с 1911 года — и рейнского экспрессионизма. Находясь в 1905 году в Биаррице, Герхарди писала картины на морскую тематику. В последние годы жизни создавала также натюрморты и жанровые полотна.
Выставки произведений художницы при её жизни проходили в Париже — в салоне Национального общества и салоне Независимых, а также в Германии — на Берлинской сецессии и Мюнхенской сецессии.
С 1990 г. в Люденшайде вручается премия Иды Герхарди. Именем Герхарди названа улица в Детмольде (нем. Ida-Gerhardi-Weg).