Из графской ветви рода Олсуфьевых. Родился в Санкт-Петербурге в семье генерал-адъютанта и гофмаршала, окончил Петербургский университет, юридический факультет. Состоял в Московском Археологическом институте, активно работал в Туле (председатель Тульского Общества охраны памятников искусства и старины, член Тульской архивной комиссии), результатом чего стало издание шеститомника «Памятники искусства и старины Тульской губернии» в 1912—1914 годах.
С 1917 года жил в Сергиевом Посаде, был заместителем председателя Комиссии по охране памятников искусства и старины Троице-Сергиевой лавры, главным хранителем ризницы Лавры. Был одним из основателей научной реставрации икон, в частности, был одним из руководителей реставрации рублёвской «Троицы». С 1928 года в Москве, где работал в московских государственных реставрационных мастерских, а с 1934 года, после закрытия мастерских, возглавил секцию реставрации древнерусской живописи в Третьяковской галерее. По словам потомка русских эмигрантов князя Ивана Шаховского (Олсуфьев приходился приёмным отцом бабушки Ивана Шаховского) именно Юрий Олсуфьев, работая в мастерской Грабаря вместо поступившего приказа уничтожить помог сохранить надвратные иконы кремлёвских башен.
24 января 1938 года был арестован, а 7 марта осуждён тройкой при НКВД по Московской области за «распространение антисоветских слухов». Расстрелян 14 марта 1938 года на Бутовском полигоне.