Раби родился в еврейской семье в городе Рыманов, бывшем тогда в Австро-Венгерской империи, а сейчас находящемся в Польше. Через год после рождения, родители Раби эмигрировали в США.
Раби получил степень бакалавра по химии в Корнелльском университете в 1919 г. Он продолжил обучение в Университете Колумбии (США) и получил там в 1927 г. степень доктора. После этого он получил стипендию, при помощи которой он смог провести два года в Европе, работая с такими знаменитыми физиками, как Нильс Бор, Вернер Гейзенберг, Вольфганг Паули и Отто Штерн. После этого он вернулся в Университет Колумбии и оставался в нём до конца жизни.
В 1930 г. Раби провёл исследования природы сил, связывающих протоны в атомном ядре. По-видимому, это исследование привело к созданию метода магнитного резонансного детектирования на молекулярных пучках, за который он Раби был награждён Нобелевской премией по физике.
В 1940 г. Раби позволили покинуть Университет Колумбии для работы заместителем директора лаборатории излучений в МТИ в проекте по разработке радара. Он также охотно согласился работать приходящим консультантом, который мог беспрепятственно приходить и уходить в Лос-Аламосскую лабораторию, и где он был одним из немногих исключений в строгом режиме секретности. Генерал Лесли Гровс приложил специальные усилия, чтобы удержать Раби вдали от Лос-Аламоса в те дни, когда проводилось испытание Тринити. Это было необходимо потому, что Раби был студентом у Оппенгеймера и сохранил с ним дружеские и уважительные отношения, и поэтому Оппенгеймер испытывал некоторые проблемы с сохранением секретов от Раби.
После войны Раби продолжает исследовательскую работу, которая внесла вклад в изобретение лазера и атомных часов. Он также был одним из основателей Брукхэвенской национальной лаборатории и организации ЦЕРН.
Раби возглавлял физический факультет университета Колумбии с 1945 по 1949 гг., когда на нём работали два Нобелевских лауреата (Раби и Энрико Ферми), а также 11 будущих лауреатов, среди которых были семь сотрудников факультета (Поликарп Куш, Уиллис Лэмб, Мария Гёпперт-Майер, Джэймс Рэйнуотер, Норман Рамзей, Чарльз Таунс и Хидэки Юкава), учёный-исследователь Ааге Бор, приглашённый профессор Ханс Бете, аспирант Леон Ледерман и студент Леон Купер.
Когда в 1964 г. в университете Колумбии было учреждено звание университетского профессора, Раби был первым, кому оно было присуждено. Раби ушёл на пенсию в 1967 г., но продолжал работать на факультете в качестве профессора на пенсии и особого лектора до самой смерти в 1988 г.
Известным выражением Раби является «без Эдуарда Теллера мир был бы лучше»