Сетцер родился в Массапекуа, Нью-Йорк. Начиная с 1979 года он был фронтменом группы «Stray Cats». После локальных выступлений от Нью-Йорка до Филадельфии c группами под разными названиями без реального успеха гитарист Сетцер, барабанщик Слим Джим Фантом (урождённый Джеймс Макдоннел) и басист Ли Рокер (урождённый Лео Друкер) решили в июне 1980 года отправиться в Лондон, где, как они верили, публика будет больше ценить из звук и стиль.
Чтобы получить деньги за самолёт, Брайан, Ли и Джим отправились в «Sam Ash Music» на 48 улице, чтобы продать свои инструменты и оборудование магазину. Вместо переговоров они просто продали свои инструменты, получив достаточно средств на билет в один конец. По прибытии они решили назвать себя «Stray Cats». Название было предложено Рокером из-за того, что он определил их статус как «Stray» (то есть «Бродячие». После нескольких месяцев выступлений они привлекли внимание британского продюсера Дэйва Эдмундса и выпустили серию успешных синглов в Великобритании, которые противопоставлялись уже укоренившейся панк-сцене в Лондоне.
После выпуска нескольких синглов и двух альбомов в Англии «Stray Cats» получили внимание американской публики с альбомом 1982 года «Built for Speed», два хита из которого вошли в Top Ten («Rock This Town» и «Stray Cat Strut»). Этот альбом был в основном переизданием многих песен из двух предыдущих альбомов, «Stray Cats» и «Gonna Ball», которые не были выпущены в Америке. Их следующий альбом, «Rant 'N Rave with the Stray Cats» включал в себя два успешных сингла: «(She’s) Sexy + 17» и «I Won’t Stand In Your Way».
Всего лишь через четыре года «Stray Cats» распались в 1984 году, но кратко воссоединялись время от времени для записи альбомов и поездок в туры вплоть до начала 1990-х. С 1985 года до начала 1994 года Брайан Сетцер был гитаристом в гастрольной версии группы Роберта Планта «The Honeydrippers».
Летом 1986 года Сетцер выпустил первый сольный альбом, «The Knife Feels Like Justice», который ущёл от традиционного звучания Сетцера в сторону более «мейнстримного» звука, популярного в то время благодаря таким исполнителям, как Джон Милленкамп и Брюс Спрингстин. Альбом был мало прорекламирован лейблом, и в результате его ждал незначительный успех. Он достиг лишь 45 места в американском чарте Billboard.
В 1987 Сетцер играл роль Эдди Кокрана в биографическом фильме о жизни Ричи Валенса «Ла бамба».
В середине 1990-х Брайан Сетцер воскресил старую форму молодёжной музыки, свинга и Jump blues-музыки, создав «The Brian Setzer Orchestra», амбициозный проект с 17 участниками, выпустивший 4 студийных альбома, рождественский диск и несколько концертных записей в период с 1994 года по 2002. Самый большой успех группы (и Сетцера вне «Stray Cats») случился в 1998 году с релизом альбома «The Dirty Boogie», попавший в десятку лучших альбомов США и содержал хитовый сингл, кавер-версию песни Луи Примы «Jump, Jive and Wail»
Сетцер продолжает выпускать сольные альбомы, в том числе сольную концертную запись «Rockin' By Myself» в 1998 году. В 2001 он выпускает альбом «Ignition» вместе со своим новым трио «'68 Comeback Special».В 2003 году он выпускает альбом «Nitro Burnin' Funny Daddy». Трибьют-альбом «Rockabilly Riot Vol. 1: A Tribute To Sun Records» был выпущен 26 июля 2005 года в США.Альбом «13» вышел в октябре 2006 года.
25 сентября 2007 года «The Brian Setzer Orchestra» выпустила «Wolfgang’s Big Night Out», в котором используются «Пятая симфония» Бетховена, «Полёт шмеля» и «К Элизе». Этот альбом принёс Сетцеру восьмую номинацию на Грэмми.
13 октября 2009 «The Brian Setzer Orchestra» выпустила новый альбом «Songs From Lonely Avenue.» Впервые в карьере Сетцер был сам автором всех песен на альбоме.
Сетцер был женат три раза: на Дине Морган (1984—1992), с которой имеет сына, Коди; на Кристине Шмид (1994—2002), с которой имеет двух дочерей; и на Джули Рейтен (2005-по настоящее время). Сетцер и Рейтен живут в Миннеаполисе.