Иосиф Иосифович Пилюшин родился в деревне Урбаново Миорского района Витебской области Белоруссии.
На фронтах Великой Отечественной войны с 23 июля 1941 года. В первом же бою уничтожил разведчика противника. Участвовал в боях на Ленинградском фронте, в районе Урицк-Лигово, где получил 3 легких ранения. Во время блокады Ленинграда погибла его жена и два сына. В 1942 году был тяжело ранен и потерял правый глаз, но после выписки из госпиталя освоил стрельбу с левого плеча и продолжил службу.
В 1944 году был тяжело контужен, что привело к потере зрения, был комиссован и уволен из армии.
Всего за время службы по официальным данным И. И. Пилюшин уничтожил 136 немецких солдат и офицеров, а также подготовил около 400 снайперов.
В 1950-х годах полностью ослеп. В 1958 году написал и издал книгу мемуаров «У стен Ленинграда».