Бове родился в Петербурге в семье неаполитанского художника Винченцо Джованни Бова, приехавшего в Россию в 1782 году для работы в Эрмитаже. Данное при крещении имя Джузеппе позднее было переделано на русский манер в Осипа Ивановича. Вскоре после рождения Осипа семья переехала в Москву.
Архитектурное образование получил в архитектурном училище при Экспедиции Кремлёвского строения (1802—1807) у Ф. Кампорези, затем, ещё до пожара Москвы, работал под руководством М. Ф. Казакова и К. И. Росси в Москве и Твери.
Во время Отечественной войны Бове участвует в ополчении, в 1813 году возвращается на городскую службу. Для восстановления сожженной Москвы была создана специальная Комиссия о строении Москвы, в которую Бове вошёл архитектором четвёртого участка и отвечал за центральные районы города: Тверскую, Арбатскую, Пресненскую, Новинскую и Городскую части. В 1814 году Бове был назначен главным архитектором «фасадической части», надзирающим за проектами и их «производством в точности по прожектированным линиям, а также выдаваемым планам и фасадам». Бове сумел на этом посту обновить облик древней столицы, с новым для Москвы размахом и по единому стилистическому замыслу. С помощью утверждённого в 1817 году генерального плана, Бове воплотил идею города-монумента во славу величия Российской империи.
В 1816 году Бове получает звание архитектора от совета Императорской Академии художеств и женится на вдовой княгине Авдотье Семеновне Трубецкой.
Под началом Бове в центре Москвы были перестроены Торговые ряды в стиле классицизма напротив Кремля (не сохранились), проведена реконструкции Красной площади, снесены земляные укрепления вокруг Кремля и засыпан ров, разбит Кремлёвский (Александровский) сад, построен Манеж (инженерная структура разработана А. А. Бетанкуром), создана Театральная площадь (1818—1824) с Большим (Петровским) театром (1821—1824; проект был доработан А. А. Михайловым). За пределами центра Бове строит Градскую больницу за Калужской заставой (1828—1833). Триумфальные ворота, возведенные по проекту Бове у Тверской заставы (1827—1834), были воссозданы в 1968 году близ строившегося тогда монумента Победы на Поклонной горе.
Умер Бове в Москве, похоронен на кладбище Донского монастыря.
Младшие братья Осипа Ивановича, Михаил и Александр, также работали архитекторами в Москве под его руководством.
Несмотря на все свои заслуги, Бове не имел звания академика архитектуры. В 1816 году он попросил Академию художеств задать ему программу на звание академика. Академия утвердила его в звании архитектора и задала спроектировать здание театра на 3 тысячи человек. Программа эта так и не была выполнена.