Его отец выходец из Вижницы (теперь Черновицкая область Украины). Юрист по образованию. Выпускник Тель-Авивского университетa.
Начинал общественную деятельность в «Молодой смене» Рабочей партии Израиля. Возглавил эту организацию в 1981 году.
В 1983 году был избран в кнессет 10-го созыва от партии «Авода». В правительстве Ицхака Рабина в кнессете 13-го созыва был назначен министром здравоохранения.
В 1994 году подал в отставку с должности, чтобы баллотироваться на пост главы Национальной конфедерации профсоюзов Гистадрута, и победил в выборах на эту должность.
В ноябре 1995 года, после убийства Рабина, ушёл с должности главы Гистадрута, чтобы стать министром внутренних дел в правительстве Шимона Переса.
После выборов 1999 года был министром по делам Иерусалима при министерстве главы правительства. После этого назначен министром внутренних дел, начал серию реформ в подотчетном ему ведомстве. В отличие от большинства израильских политиков, Рамон не афиширует свои политические взгляды.
В 2001 году был председателем комиссии по внешней политике и обороне во время правительства национального единства под руководством Ариэля Шарона. Во время парламентской работы в кнессете 16-го созыва был членом этой комиссии. Во вторую каденцию Шарона занимал пост министра без портфеля. В конце ноября 2005 года ушёл из партии «Авода», чтобы войти в партию «Кадима».
4 мая 2006 года в правительстве Ольмерта получил портфель министра юстиции. В августе того же года подал в отставку с поста министра в связи с «Делом Рамона», оставаясь депутатом кнессета.
В августе 2006 года был привлечен к судебной ответственности за «непристойное действие» («Indecent act») в отношении девушки-офицера, служившей в канцелярии главы правительства. Суть обвинения состояла в том, что, хотя девушка и инициировала поцелуй в губы с Рамоном (позируя для фотографии в демобилизационном альбоме), Рамон просунул ей в рот язык без её позволения.
Из-за судебного процесса Рамон был вынужден уйти в отставку с поста министра юстиции.
31 января 2007 года мировой суд в Тель-Авиве признал Рамона виновным в непристойном действии. 29 марта 2007 года суд приговорил Рамона к 120 часам общественных работ и постановил выплатить компенсацию пострадавшей в размере 15 тысяч шекелей (около 4 тысяч американских долларов). Суд также учёл 25-летнюю безупречную службу Рамона в общественной жизни и вынес определение, что проступок Рамона не накладывает морального пятна, что означает, что он может оставаться членом кнессета и занимать министерский пост в правительстве.
Дело Рамона вызвало резкую критику в адрес судебной системы со стороны многих израильских юристов. Министр юстиции в правительстве Ольмерта профессор Даниэль Фридман утверждал, что дело было сфабриковано для устранения Рамона с поста министра юстиции. Министр юстиции Израиля играет важную роль в назначении судей. 7 сентября 2006 года, немедленно после отставки Рамона, Дорит Бейниш была избрана президентом Верховного суда Израиля.