Анджей Шармах удачно выступал в 1970-х. Однако из-за закона, по которому польские игроки до достижения 30 лет не могли покинуть родину, он провёл большую часть карьеры в Польше. Лишь в 1980 году форвард смог уехать во Францию, где играл за «Осер», «Генгам» и «Клермон Фут».
За сборную Польши Шармах провёл 61 матч и забил 32 гола. В 1974 году Шармах стал частью нападения сборной на чемпионате мира, где поляки забили 16 голов из которых 5 забил Анджей. Через два года, на Олимпийских играх Шармах отличился 9 раз, став лучшим бомбардиром турнира.
После завершения карьеры игрока Шармах стал играющим тренером «Клермон Фут», который в первом же сезоне вывел во второй дивизион. При этом, поляк являлся играющим тренером команды и стал лучшим бомбардиром третьей лиги Франции. В следующем сезоне Анджей провёл ещё несколько игр, после чего окончательно завершил игровую карьеру.