Аллан Рэмзи родился в Эдинбурге, Шотландия, и был старшим сыном Аллана Рэмзи, поэта и автора пасторальной комедии «Благородный пастух».
Начиная с 12 лет, он учился в Лондоне под руководством шведского художника Ганса Хайсинга и в Академии на ул. св. Мартина; с 1736 года он жил в Риме и Неаполе, где 3 года учился под руководством Франческо Солимены и Франческо Фернанди.