Граучо Маркс вместе с братьями родился в Нью-Йорке. В детстве вместе с ними стал участвовать в водевилях, где он разработал сценический образ, с которым не расставался долгие годы — чёрные нарисованные брови и усы, очки и сигара. Он всегда изображал язвительного дельца и авантюриста, который постоянно доставляет проблемы добропорядочному обществу.
Первого успеха Граучо с братьями достигли на Бродвее в мюзикле «Скажу, что это она» в 1924 году. В кино он также дебютировал в компании братьев ещё в 1921 году, но внимание публики они привлекли к себе лишь в 1929 году после выхода на экраны картины «Кокосовые орешки». Далее последовали успешные роли в комедиях «Лошадиные перья» (1932), «Утиный суп» (1933), «Ночь в опере» (1935) и «День на скачках» (1937), которые и принесли им огромную популярность. В 1940-е годы их актёрский квинтет постепенно распался и каждый занялся индивидуальной карьерой.
В 1950-е годы Граучо был ведущим популярного телевизионного шоу «Ставка — ваша жизнь», сыграл несколько эпизодических ролей на большом экране, а также написал три автобиографии.
Граучо Маркс умер от пневмонии в одной из клиник Лос-Анджелеса в 1977 году.