Окончил Пермский медицинский институт в 1990 году.
С марта по июнь 1992 года — директор инвестиционно-брокерской компании «Инкомброк».
С июня 1992 года — президент инвестиционной компании «Финансовый дом». В марте 1994 года стал исполняющим обязанности председателя правления.
С 1995 года — председателем совета директоров банка «Кредит ФД».
В 1999—2000 годах — председатель наблюдательного совета банка «Уральский финансовый дом».
С 1999 года — председатель совета директоров «Уралкалия».
С ноября 2005 года является также председателем совета директоров Белорусской калийной компании.
Главный владелец российского «Уралкалия», в Беларуси имел давний профильный интерес — местный «Беларуськалий». Пока он реализовал его в виде совместной сбытовой компании БКК.
В июне 2010 года Рыболовлев продал контрольный пакет (53,2 %) акций «Уралкалия» компаниям Kaliha Finance Limited (Сулейман Керимов, 25 % акций компании), Aerellia Investments Limited (Александр Несис, 15 %) и Becounioco Holdings Limited (Филарет Гальчев, 13,2 %). Сумма сделки оценивалась в $5,32 млрд.
В сентябре 2010 года Рыболовлев фактически получил контроль над крупнейшим банком Кипра Bank of Cyprus, купив 9,7 % его акций.
В апреле 2011 года оставшиеся 10 % «Уралкалия» у Рыболовлева выкупила структура Александра Несиса.
Разведён, имеет двух дочерей.
Обладая личным состоянием $9,5 млрд, в 2011 году занял 14 место в списке 200 богатейших бизнесменов Росcии (по версии журнала Forbes).