Родился в семье рабочего, участника Великой Отечественной войны. Русский. Рос и учился на станции Бишкиль Чебаркульского района Челябинской области. После окончания средней школы вновь уехал в Астрахань, где поступил в судоремонтное ПТУ.
В Военно-Морском Флоте СССР с 1967 года: курсант химического факультета Каспийского высшего военно-морского училища имени С. М. Кирова в городе Баку. Окончил училище в 1972 году. Служил на Каспийской военной флотилии с 1972 года в должности старшего помощника командира, а с 1973 года — командира большого пожарного катера. Отличился при тушении большого пожара на Бакинских нефтяных промыслах, за что награждён медалью «За отвагу на пожаре».
С 1975 года — в органах контрразведки Комитета государственной безопасности СССР на Военно-морском флоте. В 1976 году окончил Высшую школу КГБ СССР в Новосибирске в звании капитан-лейтенант, направлен в особый отдел КГБ в Каспийском военно-морском училище имени С. М. Кирова, где вёл оперативную работу на факультете иностранных студентов. В 1979 году стал начальником особого отдела КГБ в этом училище.
В 1985 — 1992 годах — начальник Особого отдела КГБ Каспийской военной флотилии. Отличился в деятельности по обеспечению безопасности флотилии в условиях обострения межнациональных отношений в Закавказье и межэтнических столкновений, многочисленных вооружённых попыток захвата вооружения и военного имущества флотилии. Один из ведущих участников операции по выводу Каспийской флотилии и Каспийского военно-морского училища из Баку в Астрахань.
С 1993 года — начальник Особого отдела ФСК России Новороссийской военно-морской базы, тогда же присвоено звание капитан 1-го ранга. С 1994 года — начальник управления Федеральной службы контрразведки Российской Федерации по Тихоокеанскому флоту. В этой должности один из инициаторов привлечения к уголовной ответственности за шпионаж журналиста Г. Пасько.
С 1998 года — в центральном аппарате ФСБ РФ, первый заместитель начальника Управления военной контрразведки ФСБ РФ, руководил органами контрразведки в Военно-морском флоте. В 1999 году — первый заместитель начальника 2-го Департамента ФСБ (защита конституционного строя и борьба с терроризмом), в ноябре того же года стал руководителем этого Департамента — заместителем директора ФСБ. В его подчинении состоял Центр специального назначения ФСБ РФ, в который входили группы «Альфа» и «Вымпел». При непосредственном участии Угрюмова были разработаны и проведены специальные мероприятия в рамках контртеррористической операции в Северо-Кавказском регионе, в результате которых были обезврежены многие руководители и активные члены бандформирований. С его именем связывают, например, бескровное взятие Гудермеса в декабре 1999 года, захват Салмана Радуева в марте 2000 года, освобождение заложников в поселке Лазаревское под Сочи в ноябре 2000 года.
21 января 2001 года вице-адмирал Угрюмов одновременно с ранее занимаемой должностью утвержден руководителем Регионального оперативного штаба на Северном Кавказе. Согласно ряду публикаций в средствах массовой информации 30 мая 2001 года ему было присвоено воинское звание адмирал.
На следующий день 31 мая, адмирал Угрюмов скончался от сердечного приступа в своем рабочем кабинете на территории штаба российской военной группировки в поселка Ханкала Чеченской республики. По сообщениям СМИ, при вскрытии были обнаружены следы 7 микроинфарктов. Похоронен в Москве на Троекуровском кладбище.