В 1963 году Финлей опубликовал «Rapel», свой первый сборник конкретной поэзии (форма расположения строк влияет на восприятие и понимание стихотворного произведения), благодаря которому впервые получил широкую известность. Со временем он начал сочинять стихи для записи в камне, включая эти скульптуры в природную среду. Этот тип поэм-объектов находятся в саду «Маленькая Спарта», который он и Сью Финлей создали вместе около Эдинбурга. Сад, занимающий пять акров, также включает более традиционные скульптуры и два садовых храма. В декабре 2004 во время опроса в Шотландии, группа из пятидесяти художников, директоров галерей и деятелей мира искусства назвали «Маленькую Спарту» наиболее важной работой шотландского искусства.
Работы Финлея отличают ряд повторяющихся тем: склонность к классической литературе (особенно Вергилий); связь с рыбалкой и морем; интерес к французской революции; Второй мировой войне. Использование нацистских образов привело к обвинениям в симпатиях к нео-нацизму, а также к судебному процессу, который Финлей выиграл.
Финлей был номинирован на Премию Тернера в 1985. Он был удостоен звания почетного доктора Университета Абердина в 1987, Heriot-Watt University в 1993 и Университета Глазго в 2001, почетного профессора Университета Данди в 1999.