Происходил из дворян Лифляндской губернии и родился 25 марта 1772 г. в Ямбурге.
В службу зачислен нижним чином в лейб-гвардии в Измайловский полк. 1 января 1790 г. был переведён из него капитаном в Псковский мушкетерский полк, а 3 июля 1791 г. перемещён был в Козловский мушкетёрский полк. В год своего поступления в действительную службу Рынкевич принял участие в походах против шведов — в 1790 году и 28 апреля находился в команде у секунд-майора Несветаева и при пограничной деревне у Раксаловой перешёл неприятельскую сторону за реку Кюмень, при занятии неприятельского стана.
В 1792 г. с 26 июля находился в Польше, в 1794 г. был там же в делах против поляков: 26 мая — при Щикочине, 28 и 29 — при Песочном; был затем в действительных сражениях со 2 июля по 26 августа у Варшавы, под долговременной канонадой; 27 сентября переправился на правую сторону реки Вислы и 29-го участвовал в атаке и разбитии неприятеля, укрепившего стан при Мещевице, где взят был Костюшко. 24 сентября он был при штурме Праги. 29 сентября 1794 г., за отличие против поляков был пожалован в секунд-майоры, получив, кроме того, за штурм Праги, золотой крест.
Переведённый, 21 августа 1798 г., в Полтавский мушкетерский полк, Рынкевич 12 января 1799 г. был назначен его полковым командиром и 15 сентября того же года произведён был в подполковники. Награждённый 30 января 1800 г. орденом св. Анны 2-й степени, а 11 декабря того же года произведённый в полковники, Рынкевич 24 декабря 1801 г., по прошению, уволен был от службы.
Поступив, 30 ноября 1806 г., в состав Земского войска, Рынкевич находился сначала тысячником по 4-й области, а потом, по требованию Главнокомандующего ею, назначен был для образования подвижной милиции — до 31 января 1808 г., причём в 1808 г. получил за это подарок и золотую медаль на Владимирской ленте.
В Отечественную войну 1812 г. Рынкевич с Рязанским ополчением, в которое поступил 8 августа 1812 г. и в котором командовал 3-м пехотным полком, был «в походах и действиях противу неприятеля для защищения к столичному городу Москве», за что и получил Высочайше установленную в 1812 г. серебряную медаль на голубой ленте; по переходе же за границу 19 июля 1813 г. Рынкевич принял под свое начальство бригаду и был взят с ней из Рязанского ополчения по именному Высочайшему повелению генерал-адъютантом Закревским в Польскую армию.
Рынкевич участвовал в блокаде Дрездена с 1 октября по 1 ноября 1813 года, и в бывшей вылазке французов из Дрездена 5 октября и в действительном сражении против оных. Также находился и при сдаче этого города на капитуляцию.
После сего, выступив с полком через Пруссию, Бранденбург и Вестфалию, находился при блокаде крепости Магдебурга с 15 декабря 1813 г. по 4 января 1814 года, где во время сделанной неприятелем сильной вылазки 19 декабря при деревне Дездорф.
Затем, выступив к Гамбургу, проходил через Брауншвейг, Ганновер, Голштинию, Данию и по прибытии к Гамбургу находился при блокаде этой крепости с 22 января по 15 июня 1814 г. За дела, бывшие 28 января и 5 февраля того же года и за ночные вылазки получил золотую шпагу с надписью «За храбрость». По сдаче Гамбурга, следуя со вверенным ему отрядом вторично через Голштинию и Ганновер, проходил герцогства Мекленбург-Шверинское и Мекленбург-Штрелицкое и потом через Пруссию, Померанию и Польшу вернулся в Россию.
Уволившись от службы 13 апреля 1815 г., по роспуске ополчения, Рынкевич 12 июля того же года был назначен исполняющим дела Симбирского вице-губернатора, в каковой должности был утвержден 10 ноября 1816 г. с производством в статские советники.
3 августа 1817 г. Рынкевич был переведён вице-губернатором в Москву, 21 августа 1818 г. награждён был орденом св. Владимира 3-й степени, а 18 апреля 1819 г. произведён в действительные статские советники. 28 октября 1821 г. Рынкевич уволен был, по прошению, от должности Московского вице-губернатора с назначением состоять при Герольдии.
В Москве Рынкевич, по свидетельству управляющего III отделением собственной Его Величества канцелярии генерала фон Фока, «вел жизнь чрезвычайно роскошную, позволяя себе, по занимаемому им месту, большие злоупотребления. Покойный Граф Гурьев намерен был предать его уголовному Суду, но предстательством Обер-егермейстера Пашкова, на племяннице которого Рынкевич был женат, он избавился от Суда и был только удален от места».
27 августа 1829 г. он был назначен в Комиссию, Высочайше учрежденную для рассмотрения Положения о мерах борьбы с корчемством, 28 ноября того же года определён был чиновником особых поручении Министерства внутренних дел и, наконец, 24 января 1830 г. назначен Вятским гражданским губернатором.
Рынкевич умер 19 марта 1834 года, после десятинедельной болезни, и похоронен был сперва в Вятке, в церкви Всех Святых, а затем перезахоронен в Московском Новодевичьем монастыре, куда тело его было вывезено 5 июня того же года.
Е. Е. Рынкевич был женат с 1799 г. на Александре Александровне Пашковой, старшей дочери А. И. Пашкова и получил за ней большие поместья в Ветлужском уезде Костромской губернии. Из их сыновей Александр Ефимович Рынкевич, служил в лейб-гвардии Конному полку вместе с поэтом князем А. И. Одоевским и был замешан в деле декабристов, в наказание в 1826 г. был переведён в Бакинский гарнизонный батальон прапорщиком; другой его сын — Ефим Ефимович Рынкевич-младший был управляющим Московской палатой Государственных имуществ.