Японское правительство, предполагая, что Масуда передает русским сведения о своей стране, решило поступить с ним по закону 1637 года, т. е. казнить. Когда Масуда узнал об угрожавшей ему опасности, он бросился к Гошкевичу и умолял спасти его. Масуду уложили в ящик и тайно перенесли, под видом багажа, на судно, которое было нанято русскими для возвращения на родину.
Прибыв в Петербург, Масуда был причислен к азиатскому департаменту министерства иностранных дел, а затем состоял переводчиком при азиатском департаменте. В 1858 году он крестился, приняв имя Владимира и отчество по имени крестного отца, Гошкевича. В то же время он счел необходимым, как доносил в рапорт, переменить и японскую фамилию как содержащую в себе следы буддизма, на русскую Яматов от древнего названия Японии «Ямато».
В 1870 году профессор В. П. Васильев сделал представление о необходимости преподавания японского языка, уже введённого в Париже и в Вене, и у нас на китайско-монгольском факультете восточных языков. Яматов согласился вести его безвозмездно и открыл свой курс в сентябре того же года.
В 1872 году Яматов занимался приёмом миссии Ивакуры.
В 1874 году он вернулся на родину.