Происходил из крепостных крестьян помещика графа Стратонского Киевской губернии, Липовецкого уезда, с. Каменки.
21 декабря 1820 года был принят в военную службу рекрутом и 5 апреля 1821 года зачислен в Крымский пехотный полк. На втором году службы Осипов совершил побег, за который был наказан по суду шпицрутенами через 1000 чел. 1 раз, но последующей службой успел загладить проступок молодых лет и в 1840 году имел уже нашивку на рукав и серебряные медали за персидскую и турецкую войны. В персидскую войну Осипов был участником во многих делах, в том числе при взятии Сардар-Абада. В турецкую войну среди прочих сражений принял участие в штурме Карса.
По окончании войны Тенгинский полк был переведён на Кубань и нёс кордонную службу. Там Осипов неоднократно участвовал в стычках с горцами. В Тенгинский полк он прибыл в 1834 году вместе с 1-м батальоном Крымского полка, поступившим на укомплектование названного полка, и зачислен в 9-ю мушкетёрскую роту. С момента прибытия в укрепление Михайловское, под влиянием переживаемых всеми тяжелых минут, Осипов был всё время крайне сосредоточен. 15 марта, когда стало точно известно о намерении горцев напасть на укрепление, он, по свидетельству очевидцев, с заложенными за спину руками долго шагал по казарме, что-то обдумывая. Затем, остановившись посреди казармы, он сказал: «Я хочу сделать память России и в минуту неустойки наших подожгу пороховой погреб». Никто не сомневался, что Осипов сдержит слово, так как все знали его как человека серьёзного, набожного и смелого, исправного солдата. 22 марта 1840 года Осипов сдержал свое слово и со словами: «Пора, братцы! Кто останется жив — помните мое дело» взорвал погреб, а с ним и все укрепление. Неприятель понес потерю до 3 тысяч человек.
Впоследствии около разрушенных валов бывшего Михайловского укрепления раскинулось русское селение Архипо-Осиповка.
По свидетельству сослуживцев, Осипов был бравый солдат, 38 лет, высок ростом, с продолговатым лицом, обрамленным темно-русыми волосами и с серыми глазами. Император Николай I для увековечения памяти о доблестном подвиге Архипа Осипова, который не имел семейства, повелел навсегда сохранить имя его в списках 1-й роты Тенгинского полка, считая его «первым рядовым и на всех перекличках при спросе этого имени, первому за ним рядовому отвечать „Погиб во славу русского оружия в укреплении Михайловском“».
На месте взорванного укрепления высится чугунный ажурной работы крест с надписью: «77-го пехотного Тенгинского Его Императорского Высочества Великого Князя Алексея Александровича полка рядовому Архипу Осипову, погибшему во славу русского оружия 22 марта 1840 г. в укреплении Михайловском, на месте которого сооружен сей памятник». Памятник возник в 1876 году по инициативе Главнокомандующего великого князя Михаила Николаевича, который повелел поставить его таких размеров и на таком месте, чтобы он был виден с судов, проходящих у берега. Другой памятник Осипову (и командиру Михайловского укрепления штабс-капитану Лико) воздвигнут во Владикавказе по инициативе генерала Гейдена. После 1917 года расцененный как памятник самодержавию, он был уничтожен.