Старший брат адмирала Якова Матвеевича Юхарина. В 1811 г. поступил в Морской кадетский корпус, в 1813 г. был произведён в гардемарины, в 1816 г. — в мичманы. С 1816 по 1818 гг. крейсировал в Немецком море и в чине лейтенанта совершил дважды переход в Архангельск. В 1826 г. принимал участие в экспедиции по описи Лапландского берега, а с 1832 по 1836 гг. в чине капитан-лейтенанта находился в Балтийском море и Финском заливе. В 1836 г. был переведён из Балтийского флота в Черноморский; в 1837 г., командуя корветом «Ифигения», участвовал в Абхазской экспедиции и за отличие против горцев, при высадке десанта у р. Шапсухо, был награждён орденом св. Владимира 4-й степени с бантом. В 1838—1840 гг., командуя тем же корветом, крейсировал в Архипелаге, находясь в распоряжении греческой миссии. В 1840 г. в чине капитана 2-го ранга был награждён орденом св. Георгия 4-й степени за выслугу 25 лет в офицерских чинах и до 1845 г. плавал в Чёрном море, командуя фрегатами «Апостол» и затем «Флора». В 1845 г. в чине капитана 1-го ранга плавал в Чёрном море под флагом вице-адмирала Литке, с его императорским высочеством генерал-адмиралом Константином Николаевичем, и был награждён орденом св. Анны 2-й степени и бриллиантовым перстнем с вензелем его высочества. В 1851 г. был произведён в контр-адмиралы с назначением командиром 1-й бригады 5-й флотской дивизии и с 1852 по 1854 гг. плавал у восточных берегов Чёрного моря, командуя последовательно судами «Кагул», «Три иерарха» и «Святослав». В 1854 награждён орденом св. Анны 1-й степени за храбрость и хладнокровие во время бомбардировки Севастополя англо-французскими войсками и флотом; в следующем году был назначен командиром 1-й бригады 4-й флотской дивизии, а 1 октября — командиром 3-й бригады той же дивизии. В 1856 г. ввиду упразднения бригад был назначен состоять при дивизии черноморских флотских экипажей и в том же году награждён бриллиантовым перстнем «в воздаяние особых трудов по поднятию из воды судов в Севастополе». В 1859 г. произведён в вице-адмиралы и уволен со службы, но 1870 г. вновь поступил на действительную службу и назначен был состоять при Черноморской гребной флотилии. В 1871 г. был произведён в полные адмиралы и в 1873 г. награждён орденом св. Владимира 2-й степени.