И.Кёлер родился в небогатой крестьянской семье, был у родителей седьмым ребёнком. Школьное образование получил в Вильянди, затем изучал живопись в Цесисе. В 1846 году Кёлер приезжает в Санкт-Петербург и зарабатывает оформлением витрин и вывесок. С 1848 по 1855 он обучается в петербургской Академии художеств, где занимается сначала рисованием, и затем — живописью. За свою дипломную работу «Геракл укрощает Цербера» художник был награждён малой золотой медалью.
Начиная в 1857 года И.Кёлер продолжает своё образование за границей, в Берлине и в Париже. Он посещает также Бельгию и Голландию, в 1858 году совершает поездку в Италию через Альпы, живёт в Милане, Риме, Флоренции и в Женеве. В Италии художник увлекается акварелью. В 1859 году он выставляет в Риме свою картину Христос на кресте и принимается в члены немецкого Римского художественного общества «Colonna».
В 1861 году художник принимается в члены петербургской Академии, в 1862 году И.Кёлер возвращается в Санкт-Петербург. Монархист по своим политическим убеждениям, он с 1862 по 1874 год был учителем рисования великой княжны Марии Александровны, дочери императора Александра II. В 1869—1870 годах Кёлер служит доцентом в петербургской Академии. В 1867 ему был пожаловано звание профессора по исторической и портретной живописи за выполненный портрет канцлера А. М. Горчакова. В то же время художник писал также пейзажи, сценки из жизни эстонских крестьян.
В 1886—1889 годах художник живёт и работает в Вене, Париже и в Ницце. И.Кёлер участвовал также в культурной жизни эстонцев. В 1860—1890-х годах он являлся одним из выдающихся деятелей демократического крыла эстонского национального движения. В Санкт-Петербурге был дружен с одним из лидеров эстонского национального возрождения, писателем Карлом Робертом Якобсоном. В 1891—1893 годах он был председателем Эстонского литературного союза (Eesti Kirjameeste Selts). В то же время И.Кёлер был последовательным сторонником дружбы между эстонским и русским народами.
В 1976 году на центральной площади в Вильянди был открыт памятник И.Кёлеру.