Родился в семье профессора химии в Санкт-Петербурге. В 1882—1889 обучался в Московском училище живописи, ваяния и зодчества, окончив его с Большой серебряной медалью и классным званием художника-архитектора. Работал на фирму Р. И. Клейна. В 1896—1917 занимал посты штатного архитектора при Московской городской управе.
С самого начала карьеры вошёл в круг подрядчиков московских династий купцов Бахрушиных и Перловых. Первая и наиболее известная работа Гиппиуса — проект «китайских» фасада и отделки чайного магазина В. Н. и С. В. Перловых (Мясницкая улица, 19) выполнена еще под руководством Клейна в 1895—1896. В те же годы, Гиппиус самостоятельно спроектировал и построил псевдоготический особняк А. А. Бахрушина на Зацепском валу, 12 (ныне Государственный центральный театральный музей им. А. А.Бахрушина), за которыми последовали сиротский приют имени Бахрушиных в Рижском переулке, проект дома бесплатных квартир имени Бахрушиных на Софийской набережной, 26, доходные дома Бахрушиных в Козицком переулке, 2 и на Тверской, 12, дом А. С. Бахрушиной на Воронцовом поле, 6 и т. д.
Дом Бахрушина (Театральный музей)
Тверская, 12 (слева)
С 1898 строит в стиле франко-бельгийского модерна — особняк Казакова (партнёр Перловых) в Староконюшенном переулке, 23, чаеразвесочная фабрика Перловых и Казакова на Каланчёвской, 17 и т. п. Гиппиус — мастер традиционных для бельгийского модерна растительных орнаментов; вероятно, в творчестве ему помогал опыт натуралиста-любителя. Один из самых известных аквариумистов-любителей Москвы, Гиппиус поддерживал Московский зоопарк, а в 1910 устроил в собственном доме большой публичный аквариум, дополнявший экспозицию зоопарка. Также был известен как мастер-фотограф, с 1910 — председатель Московского фотографического общества.
Благодаря сотрудничеству с Зоопарком, после революции Гиппиус стал его штатным архитектором. После присоединения «Морозовского сада» в 1925—1927 спроектировал и построил основные сооружения новой территории зоопарка — «Турью горку», Обезъянник, «Остров зверей», «Полярный мир». Эти сооружения многократно перестраивались, но общая планировка Гиппиуса сохраняется по сей день. В 1927—1928 спроектировал сохранившийся дачный посёлок «Соломенная сторожка» в нынешнем Тимирязевском районе Москвы.
Похоронен на Ваганьковском кладбище.