Родился в 1923 в Томске (РСФСР) в семье переселившегося из Эстонии 1918 году коммуниста Генриха Вайно (1889—1965) и Лидии Сави, дочери эстонских колонистов, поселившихся в Сибири в начале XX века. Член ВКП(б) с 1947. После окончания Томского электромеханического института инженеров транспорта (1947) был на инженерно-технической работе на железной дороге в Эстонской ССР. С 1948 на партийной работе: инструктор ЦК, секретарь Таллинского обкома, завотделом, секретарь ЦК Коммунистической партии Эстонии. Окончил Заочную высшую партийную школу (1957). В 1978—1988 первый секретарь ЦК Коммунистической партии Эстонии, сменив на этом посту Йоханнеса Кэбина. В результате многочисленных протестов эстонской общественности, был освобождён от должности и переведён на работу в Москву. С 1988 г. был членом КПК при ЦК КПСС. В настоящее время проживает в Москве.
Сын Карла Вайно — Эдуард (род. в 1949 г.) — с 2007 г. на АвтоВАЗе, по состоянию на конец 2010 г. занимает должность вице-президента по внешним связям и взаимодействию с акционерами, ранее являлся вице-президентом компании по корпоративному развитию.
Родившийся в 1972 году в Таллине внук Карла Вайно Антон Эдуардович Вайно работал первым заместителем руководителя протокола Президента Российской Федерации Владимира Путина (26 апреля 2007 — 8 октября 2007), заместителем руководителя аппарата правительства Виктора Зубкова (с 8 октября 2007 г.). С 2008 года Антон Вайно работает руководителем Департамента протокола Правительства Российской Федерации.