В 1923 году пришёл работать в ЧК по рекомендации тогдашнего начальника советской контрразведки А. Артузова (Фраучи), где занимался борьбой с контрабандистами, позже — борьбой с белогвардейским подпольем.
В 1926 году участвовал в операции «Трест».
Окончил заочное отделение философского факультета Института Красной профессуры (1932 г.).
С 1932 г. — начальник разведки и контрразведки ОГПУ в Восточносибирском крае. Успешно провёл операцию по захвату на территории Маньчжурии атамана Топхаева.
С 1934 г. был резидентом иностранного отдела ОГПУ НКВД в Японии, с 1936 г. вернулся в Москву и работал в Разведуправлении РККА, где курировал, в частности, Рихарда Зорге.
В 1937 г. уволен из разведки и исключён из ВКП (б) с формулировкой «за профнепригодность, как не заслуживающий доверия работник, имевший тесную связь с врагами народа», что произошло вследствие ареста его сестры.
После увольнения долгое время работал водителем автобуса, позже — директором автобазы.
С 1962 г. на пенсии. На пенсии работал в архивах КГБ и ЦК КПСС. Являлся консультантом художественного фильма «Операция „Трест“», снятым в 1967 г. на «Мосфильме» режиссёром С. Колосовым по роману-хронике Л. Никулина «Мёртвая зыбь».
Б. И. Гудзь самостоятельно водил машину и мотоцикл до 90-летнего возраста.
В возрасте 101 года он женился третьим браком.
По доносу Б.И. Гудзя был арестован поэт Варлам Шаламов, являвшийся мужем его сестры.