Якоб был старшим братом из трёх, составлявших семейство художников Марис, и наиболее успешным из них (в то время, как наиболее талантливым считается средний брат Маттейс). Заниматься рисунком Якоб начал ещё в детском возрасте. Позднее учился в Королевской академии изящных искусств в Гааге и с 1855 года — в академии в Антверпене, где обучался у Никеза де Кейзера и Губерта ван Хове.
Свои картины Я.Марис писал в стиле «великих голландцев» XVII столетия, которыми он восхищался. Первоначально он писал сценические, одушевлённые присутствием человека, сюжеты. Начиная с 1872 года художник создаёт преимущественно пейзажи. Принадлежал, вместе со своими братьями, к основанной Йозефом Израельсом в 1870 году Гаагской художественной школе, близкой в творческом отношении к французской барбизонской школе. Здесь Я.Марис развивает столь типичный для него стиль с превалирующим небесно-серым и коричневым цветом. Жил и работал в колонии художников в поместье Остербек, где близко сошёлся с такими художниками, как Антон Мауве, Герард Бильдерс и Иоханнес Бильдерс.
В период с 1865 по 1871 год Я.Марис живёт и работает в Париже. Затем перебирается на родину, в Гаагу. Полотна Я.Мариса выставлялись в лондонской Королевской академии художеств, в Эдинбурге (1885), в Париже, Брюсселе и других городах. Художник неожиданно скончался во время лечения на курорте Карлсбад. Картины кисти Я.Мариса ныне хранятся в крупнейших музеях Амстердама, Гааги, Роттердама, Лондона, Сан-Франциско, Санкт-Петербурга, Бостона, Нью-Йорка, Филадельфии, Вашингтона и др.