Участвовал в экспедициях на фрегатах «Паллада», «Диана», руководил в Японии постройкой шхуны «Хеда» (1854—1855 годы), на корвете «Оливуца» в 1856—1857 годах совершил плавание в Тихом океане.
Участвовал в экспедиции в Хиву и Бухару (1858—1859 годы).
В ноябре 1864 года решением Императора Александра II был назначен начальником Обуховского сталелитейного завода в Санкт-Петербурге (ноябрь 1864 — апрель 1894 года). Стал генералом по адмиралтейству, позже — полный генерал.
Похоронен на Никольском кладбище Александро-Невской лавры в Санкт-Петербурге. Надгробие в виде большого и высокого креста из чёрного мрамора сохраняется до сих пор.
Из потомственных дворян Тверской губернии. Сын капитан-лейтенанта Александра Васильевича Колокольцова и Марии Павловны (урожд. Титова), у которых родилось 11 детей. Его старший брат Николай был контр-адмиралом, в чине лейтенанта с отличием участвовал в Синопском сражении.
Был женат (с 3 июня 1864 года, венчался в селе Островно Вышневолоцкого уезда Тверской губ.) на Сеславиной Елене Николаевне и имел девять детей.
До 1961 года в Ленинграде была улица Колокольцовская (р-н Мурзинка-Рыбацкое), где до 1918 года находился его личный дом. Его именем также назван мыс в Японском море.