В 1953 году окончил юридический факультет Варшавского университета. Работал в Министерстве юстиции и Академии наук. В 1956 году выступил в печати с призывом реабилитировать участников Армии Краёвой, и уже в 1957 году ему было запрещено заниматься журналистикой. В 1960-е Ольшевский был адвокатом в нескольких процессах польских диссидентов. Благодаря своей правозищтной деятельности Ольшевский вскоре стал известен в оппозиционных кругах. После введения в Польше военного положения 13 декабря 1981 года примкнувший к «Солидарности» Ольшевский не прекратил заниматься правозащитной деятельностью. В конце 80-х участвовал в работе «круглого стола» с участием властей ПНР и оппозиции.
Был избран в Сейм в 1991 году, участвовал в работе комиссии по подготовке новой Конституции. Ольшевский представлял партию «Porozumienie Centrum» (Центристское соглашение), видными функционерами которой в это время были братья Качиньские. Вскоре после выборов, однако, президент Лех Валенса назначил Ольшевского премьер-министром. При этом Ольшевский настоял, что в его правительство не войдёт архитектор «шоковой терапии» в Польше Лешек Бальцерович. Свой первый зарубежный визит Ольшевский нанёс в Ватикан (февраль 1992).
Премьерство Ольшевского было омрачено противостоянием президента и премьера, что привело к скорой отставке кабинета. Главным действием Ольшевского на этом посту стало проведение закона о люстрации (который, однако, был вскоре признан неконституционным). 5 июня 1992 года его правительству был вынесен вотум недоверия.
В 1995 году участвовал в президентских выборах и занял на них четвёртое место, получив 1 225 453 (6,86%) голосов. Позднее поддерживал братьев Качиньских и правые партии — Лигу польских семей и Право и справедливость.
В 2009 году Ольшевский был удостоен высшей награды Польши — Ордена Белого орла.