Окончил Венский университет со специализацией по хирургии и акушерству. В 1846—1850 гг. работал в Вене в родильном доме. В 1851 г. переехал в Пешт, где возглавил больницу Святого Роха. С 1855 г. также профессор Будапештского университета.
В 1847 г., пытаясь понять причины послеродовой горячки (сепсиса) у многих рожениц — и, в частности, того факта, что смертность при родах в больнице (30—40 и даже 50 %) намного превосходила смертность при домашних родах, — Земмельвайс предположил, что инфекцию приносят из инфекционного и патологоанатомического отделений больницы. Врачи в то время много практиковали в прозекторской, и принимать роды часто прибегали прямо от трупа, вытерев руки носовыми платками. Земмельвайс обязал персонал больницы перед манипуляциями с беременными и роженицами обеззараживать руки окунанием их в раствор хлорной извести. Благодаря этому смертность среди женщин и новорожденных упала более чем в 7 раз — с 18 до 2,5 %.
Однако гипотеза Земмельвайса не нашла скорого признания. Более того, продвижение его открытия встречало всяческие препятствия. Открытие Земмельвайса вызвало резкую волну критики как против его открытия, так и против него самого — коллеги поднимали Земмельвейса на смех и даже травили его. Директор клиники, доктор Клейн, запретил И. Ф. Земмельвейсу публиковать статистику уменьшения смертности после внедрения стерилизации рук и изгнал его с работы, несмотря на то, что смертность в клинике резко упала. Более того, Клейн заявил, что «посчитает такую публикацию доносом». Земмельвейс писал письма ведущим врачам, выступал на врачебных конференциях, на собственные средства организовывал обучение врачей своему методу, издал отдельный труд «Этиология, сущность и профилактика родильной горячки» (нем. Die Aetiologie, der Begriff und die Prophylaxis des Kindbettfiebers) в 1861 г. Однако при жизни его метод так и не заслужил сколь-нибудь широкого признания.
Идея Земмельвайса вызывала такое сильное неприятие, что врачебное сообщество не убедила даже смерть немецкого врача Густава Михаэлиса. Тот смеялся над Земмельвайсом, но решил проверить его предложение на практике. Когда смертность среди его пациенток упала в разы, потрясённый Михаэлис не выдержал унижения и покончил с собой.
Затравленный Земмельвайс закончил свою жизнь в психлечебнице, где умер от того же сепсиса, от которого умирали женщины-роженицы до его открытия.
Свое открытие Игнац Земмельвайс сделал на 18 лет раньше Листера. Пионерская роль Земмельвайса в изобретении и внедрении асептики была признана только после его смерти.
Биография Земмельвейса анализируется в книге Франтишека Пахнера «За жизнь матерей. Трагедия жизни И. Ф. Земмельвейса», выпущенной в Москве в 1963 году.