Окончил МГУ (1942), доктор физико-математических наук (1950), профессор (1951). С 1943 работал в различных вузах, с 1961 — в Московском заочном педагогическом институте. Первые работы, а также диссертация Виленкина, были посвящены теории топологических групп. Развивая теорию характеров Понтрягина, установил связь между системами характеров нульмерных компактных абелевых групп, известных также как системы Виленкина, с классом ортонормированных систем кусочно постоянных функций. Начиная с 50-х годов и по сегодняшний день введённые Виленкиным системы активно изучаются в связи с широким применением в области цифровой обработки сигналов.
С середины 50-х работал над изучением теории представлений групп Ли, где получил ряд результатов, связанных с бесконечномерными представлениями, построенными Гельфандом и Наймарком.
Является автором широко известной монографии «Специальные функции и теория представлений групп» (1965, 1991), которая затем была (совместно с А. У. Климыком) преобразована в «Representations of Lie groups and special functions» (1991—1993, 1995).
Написал научно-популярные книги "Рассказы о множествах", "Комбинаторика", ряд школьных учебников по математике.