Службу свою начал в 1760 году, в марте 1776 г. он был полковым секретарем в канцелярии л.-гв. Преображенского полка и в этой же должности был и в октябре 1777 г. Будучи уже полковником и и. о. Спб. полицмейстера, он 1 января 1784 назначен был обер-полицеймейстером и 24 ноября того же года пожалован в бригадиры.
Вскоре был произведён в генерал-майоры (22 сентября 1786) за отличие по службе. Петербургским губернатором был назначен 2 сентября 1793 и в том же году награжден орденом Святого Равноапостольского князя Владимира II степени. Произведён в генерал-поручики 1 января 1795 года и награжден орденом Святой Анны 19 ноября 1796 года.
За это время: построен Мраморный дворец. Установлены новые наплавные мосты через Неву. Открыта хирургическая школа. Начали работать Никольский и Андреевский рынки. Основаны Литейный и Механический заводы Чарльза Берда. Завершено мощение центральных улиц города. Проведен ремонт мостовых. Продолжена прокладка подземной канализации.
Относительно успешному исполнению обязанностей не мешала недалёкость Рылеева. А. М. Тургенев отметил в своих «Записках», Петербургские генерал-губернатор Брюс и обер-полицеймейстер Рылеев — "оба известные превыспреннейшей глупостью своею".
Исполняя цензурные функции, Рылеев зачастую довольствовался поверхностным просмотром и нередко только титулом (заглавием). Так, он одобрил, не читая, книгу Радищева "Путешествие из Петербурга в Москву", сильно обеспокоившей, как известно, Императрицу Екатерину II, которая, по-видимому, отнеслась, однако, совершенно снисходительно к Рылееву за такую небрежность и не подвергла его за это какому-либо взысканию или замечанию.
Император Павел I 7 января 1797 вместе с четырьмя другими губернаторами, переименовал Рылеева из генерал-поручиков в тайные советники, а затем, 9 июня того же года, уволил в отставку с получением по смерть пенсиона в 3000 рублей.
Вероятно, Рылеев проживал в деревне Галицкого уезда, где и скончался; погребён он при Ильинской, что в Шарике, церкви Галицкого уезда; на надгробном памятнике его не имеется никаких дат.