Роулинсон был сыном коневода Абрама Тизака Роулинсона (Abram Tyzack Rawlinson). Его братом был историк Джордж Роулинсон.
Получил образование в Илинге (Миддлсекс), в 1826 поступил на военную службу в Ост-Индскую компанию. В 1827 в должности кадета Ост-Индской компании прибыл в Индию. Там он научился бегло говорить по-персидски и через 6 лет был направлен в Персию для обучения войск шаха. В Иране он обнаружил надпись на Бехистунской скале, которую он с риском для жизни скопировал (фотосъёмка в те годы отсутствовала, и ему пришлось многократно взбираться на скалу, чтобы срисовать знаки). Конфликты между британским и персидским правительством привели к тому, что Роулинсону пришлось покинуть Персию. В 1840 он получил должность в Кандагаре (Афганистан) и проявил себя храбрым воином в афганской войне. В 1843—1844 он был британским агентом на Аравийском полуострове. По собственному желанию в 1844 г. он получил новое назначение на должность британского консула в Багдаде, где у него появилось время вернуться к изучению клинописи. В 1851 стал Генеральным консулом в Багдаде, ему присвоено звание подполковника.
Роулинсон воспользовался этой возможностью, чтобы продолжить археологические исследования. Предполагается, что Роулинсон был знаком с малоизвестными в то время исследованиями Гротефенда, положившего начало дешифровке персидской клинописи. Даже несмотря на это, заслуга его в изучении персидской клинописи весьма велика — он скопировал и дешифровал ранее неизвестную исследователям Бехистунскую надпись, которая дала богатый материал сразу по трём древним языкам. Также он занимался раскопками Ниневии и Вавилона, где он обнаружил большое количество ассиро-вавилонских клинописных надписей, которые дешифровал в сотрудничестве с другими ассириологами.
В 1849 Роулинсон вернулся в Англию и опубликовал в 1851 г. свои воспоминания и Бехистунскую надпись. Он передал собранные им древности Британскому музею и отправился вместе с Остином Г. Лэйярдом в экспедицию по местам древней Месопотамии. В 1855 г. он уволился из Ост-Индской компании и провёл большую часть оставшихся 40 лет в Лондоне. В Англии Роулинсон познакомился с молодым Дж. Смитом, который благодаря его содействию сам вскоре стал известным исследователем древностей.
В 1856 избран в английский Парламент и одновременно в Совет Ост-Индской компании, в котором оставался до реорганизации компании в 1858 г.
В 1859 получил должность британского посланника в Тегеране, однако уже в 1860 г. ушёл с неё в отставку.
С 1865 по 1868 он снова стал членом Парламента от Фроума и снова вошёл в совет Ост-Индской компании.
Важнейшая работа (при участии Дж. Смита):
Некоторые другие важнейшие публикации: