Родился 17 декабря 1929 года в Зелтиньской волости Валкского уезда в крестьянской семье Яниса Лиепиньша. Брат — актёр Театра Дайлес Петерис Лиепиньш.
Окончил 1-ю Рижскую среднюю школу и Театральный институт Латвийской ССР (1951). После окончания учёбы был зачислен в труппу Молодёжного театра, носившего тогда название Государственный театр юного зрителя Латвийской ССР (1951—1989).
Играл романтические и героические роли, тяготел к комедии с элементами эксцентрической клоунады. С возрастом, перешёл на исполнение характерных и трагических ролей.
В 70-е годы большую популярность имел использованный Эдгаром Лиепиньшем в телевизионных скетчах и эстрадных номерах образ Хуго Диегса — героя карикатур М. Рамане.
В сотрудничестве с композиторами Р. Паулсом, М. Брауном и Ю. Кулаковым им были созданы вокальные эстрадные программы, представленные на суд зрителей в 1978, 1979, 1985 и 1988 годах.
В 1968 году на сцене Театра Дайлес сыграл роль Кристапа Кронеса в пьесе Паула Путниньша «Как делить Золотую богиню?».
За многолетнюю творческую работу был удостоен почётного звания Народного артиста Латвийской ССР (1978).
Был трижды женат. В первом браке — на актрисе Бинуте Эзерниеце, во втором — на актрисе Велге Вилипе и в третьем — на актрисе Элите Крастине.
Ушёл из жизни 13 сентября 1995 года. Похоронен на Скултском кладбище в Лимбажском районе. На могиле установлен памятник работы скульптора Улдиса Курземниекса (1999).
Из литературного наследия можно отметить опубликованные в 2000 году дневники актёра, составившие книгу воспоминаний под общим названием «Мне больно от тишины и одиночества».
С 1996 года в мае месяце проходит организованный друзьями и коллегами ежегодный вечер памяти Эдгара Лиепиньша, на котором вручают приз его имени.