Родился 1 августа 1830 г. в Дрездене, происходил из дворянского рода балтийских немцев, был младшим сыном Бориса Христофоровича (Бурхард Адам, 1782—1832, командовал лейб-гвардии Финляндским полком, генерал-лейтенант) и Елизаветы Ивановны (?—1846, дочь генерала от инфантерии И. И. Германа-младшего). Братья и сёстры Оттона Борисовича: Константин (1806—1845), полковник, участник Кавказских походов; Александр (1809—1859), дипломат, посланник в Бельгии; Софья (1811—1829); Владимир (1813—1846); Борис (1815—1844); Наталья (1817—1852); Мария (1819—1840).
13 октября 1842 г. Рихтер был определён на учёбу в Пажеский корпус, из которого выпущен 13 июля 1848 г. корнетом в лейб-гвардии Конный полк, с которым в следующем году принял участие в Венгерском походе. 6 декабря 1851 г. произведён в поручики лейб-гвардии, в сентябре 1852 г., находясь в отпуске по болезни, был уволен от службы. Весной следующего года вернулся в строй и 30 апреля был произведён в ротмистры армии, зачислен в Ахтырский гусарский полк и назначен адъютантом к чрезвычайному комиссару в Дунайских княжествах генерал-адъютанту А. И. Будбергу. С началом Крымской войны командирован в распоряжение начальника штаба 3, 4 и 5-го пехотных корпусов генерал-лейтенанта П. Е. Коцебу и принимал участие в осаде крепости Силистрии, за отличие 16 ноября 1853 г. награждён орденом св. Анны 3-й степени. В апреле 1855 г. был назначен адъютантом к генерал-квартирмейстеру Главного штаба барону В. К. Ливену. 26 сентября 1856 г. переведён в лейб-гвардии Конный полк и 1 сентября назначен адъютантом к главнокомандующему отдельным Кавказским корпусом князю А. И. Барятинскому. В зимнюю кампанию 1856—1857 гг. на Кавказе Рихтер участвовал в экспедиции в Большую Чечню, был в боях при аулах Герменчук, Шали, Оспан-Юрте. За отличие в этой кампании 10 октября 1857 г. был произведён в полковники и переведён в Куринский пехотный полк. В кампанию 1858 г. Рихтер командовал правой колонной при занятии Аргунского ущелья и за отличие в этой экспедиции был награждён золотой шашкой с надписью «За храбрость». 15 июля 1858 г. последовал приказ о назначении Рихтера состоять при наследнике великом князе Николае Александровиче и сопровождал его на пароходе «Рюрик» в Нарву и Финляндию. 8 сентября 1859 г. пожалован во флигель-адъютанты; 19 апреля 1864 г. произведён в генерал-майоры и пожалован в Свиту. После смерти цесаревича участвовал в перевозке его тела из Ниццы в Санкт-Петербург.
8 мая 1866 г. Рихтер был назначен управляющим делами Императорской главной квартиры, а затем, в том же году, начальником штаба войск гвардии и Санкт-Петербургского военного округа и членом главного комитета по устройству и образованию войск. 4 апреля 1871 г. ему было вверено командование 13-й пехотной дивизией и 5 октября того же года пожалован в генерал-адъютанты. 10 сентября Рихтера произвели в генерал-лейтенанты.
В начале русско-турецкой войны 1877—1878 гг. Рихтер со своей дивизией находился в Севастополе и 13 марта 1877 г. присутствовал при перестрелке севастопольских береговых батарей с двумя турецкими броненосцами, а затем 13-я дивизия до конца войны входила в состав войск назначенных для охраны черноморского побережья. За турецкую кампанию Рихтер 17 сентября 1878 г. получил орден Белого Орла.
В 1881 г. Рихтер занял пост командующего Императорской главной квартирой и 30 августа был удостоен ордена св. Александра Невского, алмазные знаки к этому ордену были вручены 30 августа 1885 г. В 1884 г., с упразднением комиссии прошений, на Рихтера была возложена обязанность принятия прошений, подаваемых на Высочайшее имя, с учреждением для того особой канцелярии. В период с 1881 по 1891 год неоднократно управлял делами Министерства двора. 30 августа 1886 г. произведён в генералы от инфантерии и 1 января 1887 г. он был назначен членом Государственного совета. Заведуя делами канцелярии прошений и состоя командующим Императорской главной квартиры, Рихтер снискал исключительное доверие и расположение к себе императоров Александра III и Николая II. В 1895 г. канцелярия прошений была преобразована в канцелярию Его Императорского Величества по принятию прошений, на Высочайшее имя приносимых, с освобождением командующего Императорской главной квартирой от принятия и направления всеподданнейших просьб и жалоб. В июле 1898 г. Рихтер оставил пост командующего Императорской главной квартирой и назначен состоять при Особе Его Императорского Величества; 7 октября был избран действительным членом Русского географического общества по отделению этнографии. После реформы Государственного совета в 1906 году Рихтер до 1908 года назначался к присутствию и входил в группу правых. В 1905 г. в Санкт-Петербурге была опубликована работа О. Б. Рихтера (совместно с В. П. Череванским) «Обзор сношений России с китайским и японским правительствами, предшествовавших вооружённому столкновению России с Японией».
Среди прочих наград Рихтер имел ордена св. Владимира 4-й степени (8 сентября 1861 г.), св. Станислава 2-й степени с императорской короной (6 декабря 1862 г.), св. Станислава 1-й степени (20 июля 1865 г.), св. Анны 1-й степени (30 августа 1867 г.), св. Владимира 2-й степени (30 августа 1875 г.), св. Александра Невского с алмазными знаками (30 августа 1885 года), св. Владимира 1-й степни (30 августа 1889 года) и св. Андрея Первозванного (14 марта 1896 года, алмазные знаки пожалованы 11 августа 1902 года), а также ряд иностранных орденов.
О. Б. Рихтер скончался 2 марта 1908 г. в Санкт-Петербурге, похоронен в Александро-Невской лавре.
Рихтер был женат на дочери своего брата Константина Елизавете (1841—1916), их дети: Елизавета (1868—1919, убита в Петрограде), Константин (1869—1884), Оттон (1871—1920, контр-адмирал, во время Гражданской войны служил у Колчака), Мария (1871—1945), Наталья (1877—1919). За заслуги О. Б. Рихтера его вдова и сын Оттон 13 марта 1908 г. были возведены в потомственное баронское достоинство Российской империи.
28 января 1897 года на заседании городской Думы был рассмотрен вопрос о присвоении Рихтеру Оттон Борисовичу звания почетного гражданина г. Севастополя. В некрологе газеты «Крымский вестник» значится как почетный гражданин г. Севастополя.