Отец Вельо Тормиса служил органистом в деревенской церкви в Вигала на Западе Эстонии. Благодаря этому Вельо рано начал играть на органе, подбирал хоралы.
В 1942 году Тормис начал частным образом учиться у органиста Августа Топмана, годом позже поступил в его же органный класс Таллинской консерватории. Затем переместившиеся на территорию Эстонии военные действия и болезнь на некоторое время прервали его обучение, возобновившееся в дальнейшем уже в послевоенные годы в органном классе Эдгара Арро, который в 1948 году был закрыт в связи с неуместностью преподавания игры на церковном инструменте в советском вузе.
Первые произведения Тормиса, преимущественно хоровые, начали появляться в 1947—1948 годах. В 1949 году он вновь поступил в консерваторию, теперь уже в класс композиции Виллема Каппа. В 1951—1956 годах учился в Московской консерватории по классу композиции у В. Шебалина, важное значение для Тормиса имели также занятия оркестровкой у Юрия Фортунатова, которому он в дальнейшем посвятил известный цикл «Осенние пейзажи» (1964).
По возвращении в Эстонию Вельо Тормис преподавал сперва в музыкальном училище, затем в 1962—1966 годах в Таллинской консерватории. В дальнейшем полностью посвятил себя композиции. Член Союза композиторов Эстонской ССР с 1956 года.
В 1951 году женился на Лее Руммо, дочери писателя и политика Пауля Руммо и сестре поэта Пауля Эрика Руммо
В творчестве Тормиса переплетается архаика рунических песен и современные приёмы симфонической композиции.
По словам Георгия Свиридова: