Родился 20 апреля 1920, в Чикаго, штат Иллинойс, в обеспеченной семье. Его дед по отцовской линии занимался страховым бизнесом владел недвижимостью в Чикаго. Его двоюродный дед владел универсальным магазином «A. Stevens».
Отец, Эрнст Джеймс Стивенс, был адвокатом, впоследствии занялся гостиничным бизнесом. Ему принадлежали два отеля — «La Salle» и «the Stevens Hotel». Во время Великой депрессии потерял оба отеля и был осуждён за хищения, но впоследствии оправдан.
9 апреля 2010 года судья Стивенс заявил об уходе на пенсию и официально ушел в отставку 29 июня этого года.