В теннис Эрнест начал играть в возрасте 5 лет, когда бабушка впервые привела его на теннисный корт.
Старт профессиональной карьеры теннисиста.
Выиграл первый свой турнир Futures в Фридберге, Германия. В этом же году в составе сборной Латвии по теннису дебютирует в розыгрыше Кубка Дэвиса во встречах против сборных Греции и Словении.
Гулбис выигрывает еще два турнира Futures в австрийском Бергхайме и швейцарском Лойгерне и три турнира ATP Challenger в Германии: Эккенталь в одиночном разряде, Оберштауфен и Ахен в мужском парном разряде. В Кубке Дэвиса принимает участие во встречах со сборными Польши и ЮАР. Получив Wild Card от организаторов St. Petersburg Open дебютирует в октябре 2006 года на турнире ATP в Санкт-Петербурге. Эрнест на дебютном для него турнире сумел дойти до полуфинала, обыграв по пути трех чешских теннисистов: Робина Вика, Лукаша Длоуги и Яна Герных .
Эрнест выигрывает еще 4 турнира категории Challenger: Безансон (Франция); Монс (Бельгия) в одиночном разряде и Сараево (Босния и Герцеговина) в одиночном и парном разрядах. Благодаря своим выступлениям в этом году, Эрнест Гулбис впервые в своей карьере вошел в рейтинге ATP в первую сотню. По ходу сезона достиг 47-й строчки, а закончил сезон на 61-ом месте.
В 2007 году Эрнест Гулбис дебютирует на турнирах серии Большого Шлема. Первый же матч в первом круге на Открытом чемпионате Франции принес Гулбису успех. Им был обыгран известный английский теннисист Тим Хенман в трех сетах: 6-4, 6-3, 6-2. В итоге Гулбис дошел до второго круга, где в четырех сетах проиграл испанцу Альберту Монтаньесу: 1-6, 2-6, 6-1, 6-7.
В этом же году дебютирует на Уимблдонском турнире и Открытом чемпионате США по теннису. И если на Уимболдоне Гулбис проиграл уже в первом круге десятому сеянному киприоту Маркосу Багдатису, то в США Эрнест смог достичь хорошого результата для дебютанта — выход в четвертый круг. По пути Гулбис обыграл итальянца Потито Стараче, Михаэля Беррера из Германии и испанца Томми Робредо. Дорогу в четвертьфинал ему преградил испанец Карлос Мойя.
Гулбис в 2008 году завоевывает свой первый титул в парном разряде на турнирах ATP. Вместе со своим партнером Райнером Шуттлером была одержана победа на турнире в Хьюстоне. В финале они обыграли Марселя Гранольерса и Пабло Куэваса со счетом 7-5, 7-6. На Открытом чемпионате Франции по теннису впервые вышел в четвертьфинал на турнирах Большого Шлема. В этом же году Гулбис становится участником Летних Олимпийских игр в Пекине. На олимпийском теннисном турнире он проигрывает в первом раунде Николаю Давыденко со счетом 6-4, 6-2.
В этот год Гулбис завоевывает второй титул в парном разряде. В финале турнира в Индианаполисе вместе с россиянином Дмитрием Турсуновым обыграл австралийскую пару: Джордан Керр и Эшли Фишер.
28 февраля 2010 года, впервые выйдя в финал турнира ATP в одиночном разряде в Делрей-Бич, (США), Эрнест Гулбис побеждает своего соперника, хорвата Иво Карловича (6-2, 6-3) и получает свой первый титул на турнирах ATP в одиночном разряде.