Мэнсон родился в лондонском районе Брикстон. Отец его был литературным редактором ряда изданий и газет (например, Daily Chronicle). Второе имя сына было дано в честь Симона Боливара, его же носил и дед мальчика. Так как отец Джеймса выступил против того, чтобы его сын стал художником, молодому Мэнсону пришлось в 16 лет учиться на банковского клерка. В свободное время он изучал живопись в Школе изящных искусств Хизерли, а с 1890 года — в Ламбетской школе искусств. В 1903 Мэнсон оставляет работу в банке и уезжает в Париж, где снимает (в целях экономии совместно с несколькими другими молодыми художниками и скульпторами, в том числе с Джейкобом Эпстайном) художественную мастерскую. С многими из них Мэнсон устанавливает на долгие годы дружеские отношения. Учится в Академии Жюлиана, у противника импрессионизма Адольфа Бугро, а также у Жан-Поля Лорана.
Через год Мэнсон возвращется в Лондон, у него рождается дочь Мэри, а в 1906 году — сын Чарльз. Супругой художника была Лилиан Лоджер, преподавательница музыки и скрипачка, обладавшая обширными связями среди культурной общественности Лондона. В 1910 году Мэнсон присоединяется к группе художников Кэмден Таун и становится её секретарём. В 1911 он знакомится (через жену) с директором галереи Тейт Чарльзом Эйткеном, и становится его ближайшим помощником. В 1914 Мэнсон вступает в Лондонскую группу художников, с 1915 года начинает выставлять свои картины в Новом английском художественном клубе (NEAC). В 1919 живописец Люсьен Писсарро создаёт группу Монарро, которая занималась пропагандой живописи импрессионистов (Клода Моне, Камиля Писсарро, и других). Секретарём лондонского отделения этой группы стал Дж. Б. Мэнсон, парижского — Тео ван Рейссельберге. Группа просуществовала три года. С 1927 художник стал членом NEAC. В 1930 году был назначен директором Художественной галереи Тейт, и занимал эту должность до 1938 года. На этом посту оказывал предпочтение и покровительство импрессионизму, в то же время был противником модернистских течений в искусстве — таких, как сюрреализм и экспрессионизм. Страдал алкоголизмом.
С 1939 года Дж. Б.Мэнсон — член Королевской Академии художеств.