Питер Гатри Тэт родился в городке Далкит (область Мидлотиан на юго-востоке Шотландии). Его отец, Джон Тэт, был секретарем Уолтера Скотта, 5-го герцога Бакклейха (см. ). Первые элементы образования Питер получил в грамматической школе родного города. Однако, когда ему было шесть лет, отец умер, и потому семья (Питер, его мать и две сестры) переехала в Эдинбург к дяде Джону Рональдсону, банкиру. Дядя интересовался наукой, в частности астрономией, геологией и недавно открытой фотографией, и заинтересовал этими вещами своего племянника. Питер учился сначала в частной школе, а в 1841 году поступил в Эдинбургскую академию (см. ), где подружился с Джеймсом Клерком Максвеллом, учившимся в классе на год старше. Тэт был одним из лучших учеников на протяжении всех шести лет учебы, увлекаясь сначала классическими дисциплинами, а затем математикой.
В ноябре 1847 года Тэт поступил в Эдинбургский университет, где слушал лекции математика Филипа Келланда () и физика Джеймса Форбса. Однако уже через год он отправился в Кембридж, где учился в колледже Питерхаус, готовился к экзаменам под руководством Уильяма Хопкинса (см. ). В январе 1852 года Питер сдал итоговый математический экзамен (Mathematical Tripos) с отличием (Senior Wrangler), а также был награжден премией Смита (см. ). После двух лет преподавания в Кембридже, в сентябре 1854 года, Тэт был приглашен на должность профессора математики Королевского колледжа в Белфасте (см. ). Здесь он познакомился с ирландским физиком и химиком Томасом Эндрюсом, который привлек его к совместной экспериментальной работе, а также начал переписку с Уильямом Гамильтоном, автором концепции кватернионов.
В 1857 году Тэт женился на Маргарет Арчер Портер, дочери преподобного Джеймса Портера, с сыновьями которого он учился в Кембридже. В 1859 году, после перехода Форбса в университет Сент-Эндрюс, освободилось место профессора натуральной философии Эдинбургского университета. Основными кандидатами были Максвелл и Тэт. Предпочтение было отдано последнему, как более подходящему преподавателю для не слишком хороших студентов. В 1860 году он прибыл в Эдинбург, где оставался до конца жизни. С 1879 по 1901 год он являлся секретарем Эдинбургского королевского общества.
Тэт был глубоко религиозным человеком, что нашло отражение в двух книгах, которые были написаны совместно с физиком Бальфуром Стюартом и преследовали цель «опровержения материализма научными методами». Тэт также был известен своим британским патриотизмом, с предубеждением трактуя историю развития науки (это приводило его к столкновению с такими учеными как Рудольф Клаузиус и Джон Тиндаль).
Тэт был отцом семерых детей. Один из сыновей, Фредди Тэт (), был известным гольфистом, победителем различных любительских турниров (он погиб в 1900 году во время англо-бурской войны). Другой сын, Джон Тэт (), был также спортсменом, выступал за сборную Шотландии по регби.
Математические работы Тэта посвящены в основном теории кватернионов, математической физике, топологии, теории функций, теории вероятностей. Являясь учеником и последователем Уильяма Гамильтона, он развивал кватернионный анализ как математический аппарат для нужд физики, был лидером в этом направлении. Знакомство Тэта с взглядами Гамильтона состоялось в 1853 году, когда он прочел «Лекции по кватернионам» дублинского ученого. В августе 1858 года началась их дружеская переписка. Тогда же Тэт впервые применил кватернионный дифференциальный анализ к физической проблеме — движению идеальной жидкости. В 1860 году он перевел на кватернионный язык результаты Германа Гельмгольца, подметившего аналогию между гидродинамикой и электромагнетизмом. В 1867 году Тэт опубликовал «Элементарный трактат о кватернионах», использованный Максвеллом в своей работе над теорией электромагнитного поля.
В 1867 году Тэт поставил эксперимент с кольцами дыма для проверки теоретического описания вихревых колец, данного в одной из работ Гельмгольца. Это положило начало его работе над теорией узлов, в которой также участвовали Уильям Томсон (будущий лорд Кельвин) и Максвелл. Особенно активно Тэт взялся за эту тему в 1876—1877 годах, когда им было опубликовано семь статей по классификации узлов (в них он дошел до узлов с семью пересечениями). В 1880-е годы занимался анализом эквивалентных узлов с еще большим количеством пересечений (вплоть до десяти). Впоследствии он занимался проблемой четырех красок и даже утверждал, что решил ее.
В физике Тэт известен работами по термодинамике, электричеству, механике. В Белфасте он совместно с Томасом Эндрюсом экспериментально исследовал свойства озона, эффекты электрического разряда в кислороде и других газах. В 1862 году Тэт вместе с Джеймсом Альфредом Ванклином (англ. ) изучал электричество, возникающее при испарении и закипании. В 1866 году вместе с Бальфуром Стюартом он начал работу по описанию нагрева быстро вращающегося диска.
В 1861 году Тэт начал работу над большим трудом по математической физике. Вскоре к нему присоединился Уильям Томсон. Итогом стал «Трактат по натуральной философии», опубликованный в 1867 году и ставший одним из самых известных вкладов Тэта в науку. Как писал Гамильтон Дикинсон,
На протяжении ряда лет Тэт занимался обработкой результатов глубоководных измерений экспедиции «Челленджера», в 1881 году предложил метод коррекции температур, учитывающий высокие давления на термометры. В 1886—1892 годах он активно занялся кинетической теорией газов, в частности дал доказательство теоремы о равнораспределении. В 1896 году Тэт, будучи страстным гольфистом, написал классическую статью о траектории мячей для гольфа (эффект Магнуса).