Родился 29 ноября 1915 года в Стокгольме (Швеция).
С 1964 профессор истории и теории искусств в Лундском университете.
Большое влияние на Рутерсварда оказали уроки русского иммигранта профессора Академии Искусств в Санкт-Петербурге Михаила Каца. Первую невозможную фигуру — невозможный треугольник, составленный из набора кубиков, создал случайно в 1934. В дальнейшем за годы творчества нарисовал более 2500 различных невозможных фигур. Все они выполнены в параллельной «японской» перспективе. Является одним из родоначальников направления в искусстве имп-арт.
В 1980 году шведским правительством была выпущена серия из трех почтовых марок с картинами художника.