Каспаров является воспитанником арташатского футбола. Шаги молодого футболиста развивала местная команда «Двин». В свои 17 лет он уже был основным вратарем клуба. Стоит отметить, что защитная линия клуба была ужасной, вследствие чего количество пропущенных голов у Каспарова составило 51 мяч в 18-ти матчах. В следующем сезоне ситуация изменилась и в 10 матчах Каспаров доставал 19 раз мяч из своих ворот.
В 2000 году подписывает контракт с клубом «Звартноц-ААЛ», с которым дважды дошёл до финала Кубка Армении и один раз завоевал серебряные медали чемпионата. Возможно карьера Каспарова продолжилась в этом клуб, но по окончанию сезона клуб отказался от дальнейшего участия в розыгрышах первенства из-за финансовых проблем.
Каспаров был вынужден искать новое место работы. Предложение поступило из соседнего Ирана, от тегеранского «Арарата». Отыграв сезон вернул на родину.
В 2004 году перешёл в «Мику». Дебютный матч за аштаракский клуб Каспаров провёл 17 апреля, где соперником являлся чемпион последних лет ереванский «Пюник». В том матче «Мика» потерпела поражение со счётом 1:3.
В следующем году Каспаров стал игроком «Пюника». В то время основным игроком клуба являлся камерунский легионер, впоследствии получивший гражданство Армении, Апула Бете. После первого круга Бете ушел из команды, и Каспаров стал основным вратарем команды. В составе «Пюника» Каспаров становился двукратным чемпионом (2005, 2006), обладателем (2005) и финалистом (2006) Суперкубка Армении, а также лучшим вратарём в 2005 году.
В 2007 году в очередной раз переезжает в Иран. В 2008 году Каспаров возвращается в Армению, где ему поступает предложение от «Улисса». В «Улиссе» Каспаров проводит два полноценных сезона. В чемпионате 2009 года вместе с клубом завоёвывает бронзовые медали. По окончании, переходит в тегеранский клуб «Каве». Контракт с клубом был заключён на пять месяцев, до окончания чемпионата в Первой лиге.
В 2010 году, в период летнего трансферного окна, появилась информация об интересе к Каспарову со стороны «Мики». В дальнейшем велись переговоры о приобретении игрока. В конечном итоге контракт был заключён и Каспаров, спустя 6 лет, вернулся в «Мику». В сезоне 2010 являлся 4-ым вратарём клуба, по ходу чемпионата. До прихода Каспарова, клуб покинули Клевинскас и Гришикашвили. В первом же туре, против «Киликия» Каспаров принял участие. В итоге команда, незнающая 4-е тура вкуса побед, одержала вверх над соперником со счётом 4:1. В розыгрыше кубка Армении благодаря уверенным действиям Каспарова, «Мика» дошла до финала, где с разгромила «Ширак» — 4:1. 1 декабря у Каспарова истёк срок контракта с «Мика», и перед этим событием начались переговоры самого Каспарова с рядом иранских клубов, выступавших в Первой лиге. Не исключена была вероятность, что игрок продлит соглашение с нынешним клубом. Что в итоге и произошло. Каспаров подписал годичное соглашение с «Микой».
Данные на 18 марта 2012
С 2004-го года постоянно призывается в ряды национальной сборной по футболу. Однако конкуренцию за место в основном составе Геворг Каспаров пока проигрывает более опытному игроку подмосковных «Химок» — Роману Березовскому. Дебют в сборной состоялся 12 октября 2005 года в матче против сборной Андорры, в котором армянская сборная выиграла со счётом 3:0.