Из дворян Полтавской губернии. Выпускник Императорского Александровского лицея. В 1905 году участвовал в русской делегации на заключении Портсмутского мира с Японией. Многие годы на дипломатической службе в странах Востока. В 1890-1894 годах — второй секретарь миссии в Пекине. С 1894 г. — секретарь миссии в Рио-де-Жанейро, С 1896 г. — в Лиссабоне.
В 1899 г. — чиновник по дипломатической части при главном начальнике Квантунской области. В апреле 1902 — генконсул в Бушире. С июня 1905 г. — делопроизводитель в Азиатском департаменте МИД.
В 1909—1912 годах — посланник в империи Цин.
В 1912 году по поручению премьер-министра С. Ю. Витте возглавил русскую дипломатическую миссию в Урге (ныне столица Монголии г. Улан-Батор). 21 октября (3 ноября) 1912 года подписал в Урге русско-монгольское соглашение, признававшее автономию Внешней Монголии и дававшее русским подданным в Монголии ряд привилегий. Этот акт означал признание независимого монгольского государства. Этот договор, сыгравший решающую роль в процессе образования Монголии, был одним из крупных дипломатических успехов императорской России перед Первой мировой войной. Данному эпизоду русской истории посвящён документальный фильм режиссёра Валерия Балаяна «Урга 1912. Воспоминания о непрошедшем» (2007).
В 1913 В.Н. Крупенский подтвердил основы соглашения 1912 года в договоре с Китаем, а А.Я. Миллер добился их окончательного закрепления в Кяхтинском тройном русско-китайско-монгольском акте 1915 г.
В августе 1913 года Коростовец был уволен, согласно прошению, от занимаемой должности с оставлением в ведомстве МИД. Это произошло в результате скандала, возникшего вследствие романа женатого Коростовца с молодой девушкой Ангелиной Пири (дочерью французского начальника почт в Пекине). Коростовцу однако, удалось урегулировать скандал и ему разрешили продолжить дипломатическую карьеру в МИД.
В октябре 1913 года Коростовец был назначен посланником в Персию и занимал этот пост до 1915 года. В июле 1915 — июне 1917 — член Совета Министерства иностранных дел.
После Октябрьского переворота отказался сотрудничать с большевиками. Эмигрировал в Финляндию.
Жил в эмиграции в Берлине. Весною 1921 года совершил деловую поездку в Пекин, где в пекинской типографии были напечатаны его мемуары «Россия на Дальнем Востоке», относящиеся ко времени боксерского восстания в империи Цин.