Джон Петруччи впервые взял в руки гитару в восьмилетнем возрасте. А с 12 лет он начал играть снова, когда был приглашён в группу своего друга Кевина Мура, который позже станет первым клавишником Dream Theater. Джон начал тренироваться серьёзно. В значительной степени он был самоучкой и развил свои навыки пытаясь играть своих кумиров: Steve Morse, Steve Howe, Steve Vai, Stevie Ray Vaughan, Al Di Meola, Alex Lifeson и Allan Holdsworth.
Петруччи поступил в Музыкальный колледж Беркли в Бостоне со своим другом Джоном Маянгом, бас-гитаристом, где они встретили будущего барабанщика группы, Майка Портного. Таким составом, также пригласив Кевина Мура, они основали группу Majesty, которая позже стала называться Dream Theater. Считается одним из виртуозов гитары современности. Начиная с 2001-го года компанией Ernie Ball Music Man выпускаются его именные гитары.