В 1985 Шариф смог стать главным министром Пенджаба, а в 1990 одержал во главе своей партии победу на досрочных парламентских выборах, прошедших после отстранения от власти Беназир Бхутто, выступая с консервативных позиций и призывая к активной борьбе с коррупцией. В 1992 Шариф начал проводить операцию Чистка в Карачи, направленную на уменьшение социальной нестабильности в городе и устранение его политических противников из организации индийских иммигрантов Движение Мохаджира Кауми. В то же время правительство Шарифа не смогло остановить падение на треть курса пакистанской рупии к доллару.
В итоге 18 апреля 1993 года президент Пакистана Гулам Исхак Хан сместил правительство Шарифа по обвинению в коррупции, непотизме и убийстве политических оппонентов и распустил Национальную ассамблею, назначив новые выборы и переходное правительство. Однако через шесть недель Верховный суд страны, настроенный в пользу Шарифа, отменил президентский указ. Армия Пакистана, впрочем, отказалась признать это решение, и после переговоров между Шарифом и президентом они оба ушли в отставку, и были проведены досрочные выборы, на которых победу одержала Пакистанская народная партия под руководством Беназир Бхутто.
В конце 1996 года правительство Бхутто было отправлено в отставку, и в следующем году состоялись новые выборы, на которых партия Шарифа победила с огромным преимуществом. Сразу после прихода к власти он принял поправки к конституции, запрещавшие президенту смещать правительство и дававшие партиям право лишать своих депутатов мандатов за несогласие с партийной линией. Эти поправки сделали новыю досрочную отставку правительства почти невозможной. В конце 1997 судьи проголосовали за отставку председателя Верховного суда, после чего ушёл в отставку и президент Фарук Легари, сторонник Бхутто, и новым президентом стал министр юстиции Рафик Тарар. В том же году для борьбу с терроризмом была учреждена особая судебная система, признанная в следующем году неконституционной Верховным судом.
Отмена Шарифом выходного дня в пятницу оттолкнула от него многих консервативно-религиозных сторонников и вынудила искать поддержки у светского либерального электората, поддерживавшего Бхутто. Для повышения популярности правительства в конце 1997 года была открыта автомагистраль Лахор-Исламабад, а в начале 1998 года в ответ на индийские ядерные испытания проведены первые в истории Пакистана испытания ядерного оружия. Однако популярность правительства продолжала падать. Под предлогом борьбы с терроризмом Шариф распустил правительство Синдха, учредил военные трибуналы и сократил гражданские свободы. В феврале 1999 он провёл в Лахоре встречу с индийским премьер-министром Аталом Бихари Ваджпаи, направленную на улучшение отношений между странами. Была подписана Лахорская декларация, ограничивающая взаимное применение ядерного оружия. Однако предпринятое по инициативе командующего армией Первеза Мушаррафа проникновение пакистанских войск на индийскую часть Кашмира привело к Каргильской войне, завершившейся убедительной победой Индии и обострению отношений между Шарифом и Мушаррафом.
В конце 1998 года правительство Шарифа предложило ввести в Пакистане правовую систему, основанную на шариате, и ввело её среди племён пограничного Северо-Запада. Однако закон, одобренный Национальной ассамблеей, был отклонён в Сенате. Тем временем экономическая ситуация ухудшалась.
Когда 12 октября 1999 года Шариф отправил в отставку командующего армией Первеза Мушаррафа и попытался не впустить его на территорию страны, Мушарраф произвёл военный переворот, сместив Шарифа, арестовав его и приговорив к пожизненному заключению. Впрочем, приговор был заменён высылкой в Саудовскую Аравию. В 2002 году он уступил председательство в партии своему брату Шахбазу Шарифу.
В сентябре 2007 года Шариф попытался вернуться на родину, но не был выпущен из самолёта. В ноябре 2007 Шариф всё же вернулся для участие в парламентских выборах. После убийства Беназир Бхутто он первоначально призвал к их бойкоту и отставке Мушаррафа, но затем заключил коалиционное соглашение с ПНП под руководством мужа Бхутто Асифа Али Зардари. На выборах в начале 2008 партия Шарифа заняла второе место по числу мандатов в Национальное ассамблеи и выиграла местные выборы в Пенджабе. Однако вскоре после отказа нового правительства восстановить в должности уволенных Мушаррафом судей Шариф перешёл в оппозицию. 16 марта 2009 он был помещён под домашний арест, но вскоре освобождён.