Окончил Московский технологический институт лёгкой промышленности (1951) по специальности «инженер-экономист».
С декабря 1985 — министр финансов СССР. Назначен на этот пост по инициативе ставшего незадолго до этого Председателем Совета Министров СССР Н. И. Рыжкова (ранее Гостев работал под его руководством в Экономическом отделе ЦК КПСС). Будучи министром, основал Институт повышения квалификации финансовых работников (ныне Академия бюджета и казначейства Министерства финансов).
Был сторонником изменений в финансово-экономическом механизме, но противником рыночных реформ. По данным историков М. Геллера и А. Некрича, в одном из выступлений аргументировал своё резко отрицательное отношение к кооперативам, где можно зарабатывать по тысяче рублей в месяц, тем, что обычный советский «рабочий вкалывает по 10 часов и зарабатывает 200 рублей». Объяснил необходимость сверхвысоких налогов (70% и выше с доходов сверх тысячи рублей в месяц) заботой о социалистической справедливости и равенстве: «В обществе образуется прослойка богатеев, что приведёт к социальному расслоению и вызовет необратимые последствия». Считал, что социальное расслоение может привести к народным волнениям: «Я не поручусь, что рабочие не выйдут на улицы».
Такая позиция министра привела к его отставке. С июля 1989 — персональный пенсионер союзного значения. Преподавал в Институте повышения квалификации финансовых и банковских работников.