Жилли был выходцем из семьи эмигрантов-гугенотов, поселившихся в Пруссии в 1689 году. Его отец Давид Жилли также был архитектором. В 1788 году Жилли поступил в Академию художеств в Берлине. Его учителями были Иоганн Готфрид Шадов и Карл Готтгард Лангганс. В 1797 году Жилли путешествовал по Франции, Англии и Австрии. Рисунки, сделанные Жилли во Франции, отражают его интерес к архитектуре. На них изображены виды фонтана Возрождения, Rue des Colonnes (улица колонн), палата Совета старейшин во дворце Тюильри, грот Жана Жака Руссо в Эрменонвиле.
В 1797 году Жилли разработал так и нереализованный план памятника прусскому королю Фридриху II. С 1799 года знаменитый немецкий архитектор Карл Фридрих Шинкель жил в доме Жилли и изучал архитектуру под его руководством. Молодой Жилли был назначен профессором в берлинскую Берлинскую архитектурную академию в возрасте 26 лет.
Из зданий, построенных по проектам Жилли, сохранилось только одно: мавзолей в стиле греческого Возрождения (1800—1802, почти полностью уничтожен после 1942 года, остались руины) в городе Бжег-Дольны (Польша), исполненный в форме греческого простиля.
Жилли умер от туберкулёза в возрасте 28 лет.