Отец — немец из Киля, мать — родом из Эльзаса. Арп учился в Страсбургской школе искусств и ремесел, в 1908 г. — в Академии Жюлиана в Париже. В 1912 г. познакомился в Мюнхене с Кандинским, работал над альманахом экспрессионистов «Синий всадник». Начал публиковаться как поэт. В 1914 в Кёльне познакомился с Максом Эрнстом, в том же году встретился в Париже с Аполлинером, Пикассо, Модильяни, Соней и Робером Делоне. В 1915 в Цюрихе стал одним из зачинателей дадаизма. Илллюстрировал книги сотоварищей — Тристана Тцара, Бенджамена Пере, Рихарда Хюльзенбека. В 1917 начал заниматься скульптурой. В 1920 познакомился в Берлине с Лисицким и Куртом Швиттерсом. В 1924 г. переезжает в Париж, знакомится с Мондрианом. Вошёл в круг сюрреалистов, был близок к абстракционизму. C 1925 вместе с женой, художницей Софи Тойбер, поселился в городке Кламар, на границе Мёдонских лесов, к юго-западу от Парижа. Написал сценарий фильма Ханса Рихтера «День как день» (1929 г., в одной из ролей снялся С.Эйзенштейн). В 1940—1946 гг., спасаясь от гитлеровцев, жил в Швейцарии, затем снова в Кламаре. В 1959 г. обосновался в Сольдуно, под Локарно.
В 1954 получил на Биеннале в Венеции Большую премию по скульптуре, в 1959 — Орден Почётного легиона. В 1961 стал кавалером Ордена литературы и искусства. В 1963 Арпу присуждена Большая национальная художественная премия Франции, в 1964 — Большая художественная премия земли Северный Рейн — Вестфалия и Премия Карнеги, в 1965 — Золотая медаль Министерства культуры Италии, Премия Гёте Гамбургского университета.
Самая крупная коллекция произведений Арпа находится в Музее нового и современного искусства в Страсбурге, площадь перед которым носит имя художника. Его именем назван также культурный центр в Кламаре, улица в XIII округе Парижа. С 1979 в Кламаре действует Фонд Арпа (в 2004 получил статус национального музея).