Сын генерал-адъютанта Григория Ивановича Ностица, родился 3 января 1824 года.
Образование получил в Пажеском корпусе, из которого был выпущен 5 августа 1841 года корнетом в лейб-гвардии Конный полк; в 1846 году произведён в штабс-ротмистры и 11 апреля 1848 года в ротмистры. 19 августа 1852 года уволен в бессрочный отпуск, однако с началом Восточной войны явился в строй и находился в составе войск, назначенных для обороны побережья Финского залива от возможной высадки англо-французских войск, в 1855 году за отличие получил чин полковника.
9 октября 1857 года Ностиц был назначен на Кавказ, где командуя Нижегородским драгунским полком, неоднократно принимал участие в походах против горцев. В 1859 году награждён орденом св. Анны 2-й степени с мечами и 20 сентября того же года — орденом св. Георгия 4-й степени (№ 10163 по кавалерскому списку Григоровича—Степанова)