Питер Холт является правнуком Бенджамина Холта, изобретателя первого действующего гусеничного трактора. История семьи Холт началась в 1933 году, когда двоюродный прадед Питера, Вильям Холт переехал в Сан-Антонио и основал компанию по продаже продукции Caterpillar. Так как у Вильяма не было наследников, он взял в бизнес своего племянника, отца Питера. В 1961 году отец Питера переехал в Корпус-Кристи и основал собственную компанию по продаже продукции Caterpillar.
Питер Холт родился в Пеория, Иллинойс, жил в Сан-Антонио, но еще в детстве переехал в Корпус-Кристи, Техас. После окончания школы, Питер пошел служить в Армию США на 2 года, один из которых он провел во Вьетнаме. Службу он окончил в звании сержанта и за время службы получил Серебряную звезду, три Бронзовую звезду и медаль Пурпурное сердце за полученное ранение в бою.
После возвращения в США, Холт переехал в Калифорнию, где работал в инвестиционном банке, а позже был вовлечен в ресторанный бизнес. В 1983 году Питер вернулся в Корпус-Кристи, чтобы заниматься семейным бизнесом. В качестве президента и CEO, Холт вывел компанию в национального лидера по продажам. В сентябре 1987 года, Питер и его отец купили компанию Holt Machinery Co., принадлежавшую Вильяму Холту. Позже Холт купил еще одну компанию в Техасе Darr Equipment Company of Dallas.
В 1993 году Холт решил купить команду «Сан-Антонио Спёрс», а позже купил еще команду «Остин Торос» из Лиги развития НБА, команду «Сан Антонио Рэмпэйдж» из АХЛ и «Сан Антонио Старз» из WNBA. Во всех купленных командах командные цвета были заменены на серебряные и черные.