Борис Бабаян родился 20 декабря 1933 г. в Баку, в армянской семье. В 1951 г. поступил в Московский физико-технический институт и в 1957 г. окончил его. С 1956 по 1996 г. работал в Институте точной механики и вычислительной техники, в том числе возглавлял подразделение аппаратного и программного обеспечения.
В 1964 году он получил степень кандидата технических наук, семь лет спустя стал доктором технических наук. В 1984 году был избран членом-корреспондентом АН СССР. Основал базовую кафедру «Вычислительные технологии» на ФРТК МФТИ в 1996 году. Сейчас это кафедра микропроцессорных технологий с базой в ЗАО «Интел А/О».
За разработку и внедрение микропроцессорной вычислительной системы «Эльбрус-2» он удостоился звания лауреата Ленинской премии.
С 2004 г. вместе с частью коллектива, разрабатывавшего проект Эльбрус, перешёл в структуру корпорации Intel. Бабаян стал первым европейским ученым, удостоенным титула Intel Fellow (заслуженный инженер-исследователь Intel).
В настоящее время Борис Бабаян является директором по архитектуре подразделения Software and Solutions Group корпорации Intel, а также научным советником научно-исследовательского центра Intel в Москве.