Отслужив в армии, поступил на механический факультет Ташкентского института ирригации и механизации сельского хозяйства, который не окончил. В 1997 г. получил диплом Одесской государственной академии пищевых технологий по специальности «учет и аудит».
В 1979—1987 гг. работал слесарем в Волгограде, Кривом Роге, Ташкенте. В Ташкенте начал заниматься предпринимательской деятельностью. В 1987 г. начал работать в Люберецком райпотребсоюзе, в 1988—1989 гг. — в Московском автодорожном институте. После начала кооперативного движения в СССР в 1989—1990 гг. был членом кооператива «Автотехника», выпускавшем пластмассовые изделия. В 1990—1993 гг. — гендиректор российско-панамского СП «Колумб», занимавшегося заготовкой кожевенного сырья, торговлей сигаретами, деревообработкой и т. п. В дальнейшем занимался трейдерской деятельностью в России и Казахстане.
В 1995 г. была учреждена «Сибирско-Уральская нефтегазохимическая компания» (Сибур), в которую вошли газоперерабатывающие заводы Западной Сибири и Пермский ГПЗ. Одновременно в Австрии Голдовский создал компанию Petrochemical Holding, деятельность которой в России осуществлялась через ООО «Газонефтехимическая компания». При поддержке менеджмента «Газпрома» через трейдерство и процессинговые схемы Голдовскому удалось установить контроль сначала над «Сибуром» (в 1999 он стал его генеральным директором), а затем, используя негибкие технологические связи, и над примерно двадцатью другими нефтехимическими предприятиями России. В результате к началу 2000-х годов «Сибур» стал крупнейшей нефтехимической компанией страны. На приобретение вошедших в состав холдинга предприятий Голдовский потратил около $500 млн.
Финансовую помощь холдингу оказывал Газпром, осуществлявший кредитование «Сибура» и являвшийся его основным акционером. В 2001 руководство «Сибура» предприняло попытку провести дополнительную эмиссию акций, целью которой являлось размытие пакета «Газпрома» и переход юридического контроля над активами компании к «Газонефтехимической компании» Голдовского. В конце 2001 он лишился поддержки «Газпрома», где к этому времени сменился менеджмент, был вынужден продать два из восьми газоперерабатывающих заводов.
В начале 2002 Я. И. Голдовский был арестован (прямо в приёмной председателя правления «Газпрома» Алексея Миллера), сложил с себя полномочия генерального директора «Сибура» и передал «Газпрому» контроль над компанией. После этого он был освобожден из под стражи и покинул Россию.
После освобождения Голдовский переехал в Вену, где живет с семьей, но продолжает заниматься нефтехимическим бизнесом в России. В 2003-05 годах подконтрольные Голдовскому структуры приобрели ряд предприятий по выпуску ПЭТ-преформ в Литве, на Украине и в России (в 2006 году Голдовский вышел из этого бизнеса). В 2004 году он получил контроль над дзержинским «Корундом», в 2006 — над румынским НПЗ RAFO One?ti, в 2007 — украинской девелоперской компанией FUD.