Единственный сын (у Колборна была старшая сестра Корделия Анна Колборн) Сэмюела Колборна и Корделии Анны. Колборн поступил 10 июля 1794 в чине энсина в 20-й Восточно-Девонширский пехотный полк; в составе полка участвовал в Гельдернской экспедиции 1799 года, в чине капитана принял участие в экспедиции генерала сэра Ральфа Эберкромби в Египет в 1801 году. Отличился в сражении при Майде в Италии (4 июля 1806); позже обратил на себя внимание генерала сэра Джона Мура, по протекции которого Колборн получил чин майора и стал личным секретарем генерала. Участвовал в сражении при Корунье (16 января 1809) во время Войны на Пиренейском полуострове (в этом сражении генерал мур был убит), за отличия произведен в подполковники. Летом 1809 года Колборн вновь принимал участие в военных действиях в Испании; участвовал в сражении при Оканье (19 ноября 1809) в котором испанцы были разбиты. После сражения Колборн получил в командование 66-й пехотный полк (66th Foot Regiment).
Командуя 66-м полком Колборн участвовал в сражении при Буссако (27 сентября 1810) и в обороне линий Торрес Ведрас (Torres Vedras), в следующем году после временного командования пехотной бригадой (которая была разгромлена польскими уланами), отличился в сражении при Альбуэре (16 мая 1811). Позже был назначен командиром 52-го Оксфордширского пехотного полка (52nd (Oxfordshire) Regiment of Foot). В сражении при Сьюдад Родриго был серьёзно ранен. После выздоровления женился на Элизабет Янг (Elizabeth Yonge of Puslinch). В конце 1813 года Колборн был назначен временным командиром бригады в составе Легкой дивизии (Light Division). Участвовал в сражениях при Нивелле (10 ноября 1813), Ортезе (27 февраля 1814) и Тулузе (10 апреля 1814). За отличия был награжден Army Gold Medal.
После завершения Наполеоновских войн получил чин полковника, назначен адъютантом принца-регента (будущий король Великобритании Георг IV) и стал рыцарем-командором Ордена Бани в январе 1815 года. 18 июня 1815 Колборн во главе своего 52-го полка участвовал в битве при Ватерлоо. Около 21.00 Колборн по собственной инициативе атаковал правый фланг французских позиций, но эта атака была отбита Императорской гвардией. Всокре 52-й полк и другие полки бригады генерала Адама опрокинули французов. Колборн во главе своего полка до января 1816 года оставался во Франции в составе оккупационных войск.