Сын небогатых родителей, он получил, однако, приличное образование. Очутившись в Нанси без средств к существованию, он занимался мелкой литературной работой и уроками, утешаясь надеждой будущей славы. Его первый поэтический дебют был неудачен; он принял участие в академическом конкурсе 1772 года пьесой «Le g?nie aux prises avec la fortune ou le po?te malheureux», не удостоившейся даже почётного отзыва. Это послужило первой причиной озлобления Жильбера на общество; когда же в 1774 году, приехав в Париж с рекомендательным письмом к д’Аламберу, он встретил холодность и безучастие у всего кружка энциклопедистов, озлобление пробудило в нём природный сатирический талант.
В целом ряде сатирических произведений он зло и талантливо осмеял современных ему философов, нравы общества и распространенные в нём пороки. Особенно досталось личным литературным врагам Жильбера, как, например, Лагарпу. Сатира Жильбера создали ему много врагов, со слов которых появились легенды о помешательстве поэта, о его пьянстве и самоубийстве в припадке бешенства. Во всех этих долго державшихся слухах о причине преждевременной смерти Жильбера не было даже подобия правды, точно так же как и в рассказах его защитников о его чрезвычайной бедности.
Большинство хвалебных од Жильбера, а также его поэмы «Le po?te malheureux» и «Carnaval des auteurs» лишены серьёзного литературного значения; но три произведения Жильбера.: «Le XVIII si?cle», «Mon Apologie» и «Ode, imit?e de plusieurs psaumes» — несомненно талантливы, «Le XVIII si?cle» не уступает лучшим сатирам Буало, а его ода, написанная за неделю до смерти, проникнута истинной поэзией скорбного примирения с судьбой. Один стих оды, «Au banquet de la vie infortun? convive», стал классическим во французской литературе и в несколько изменённой форме перешел и в русский язык («ему нет места на пиру жизни», «все мы гости на празднике жизни»).
Полное собрание произведений Жильбера было опубликовано в 1778 году, переиздано и дополнено Ш. Нодье в 1840 году.
Размер и элегическая тематика предсмертного, одного из самых известных стихотворений Жильбера «Ode, imit?e de plusieurs psaumes» (его переводил Николай Гнедич) повлияли на несколько русских элегий: «Выздоровление» Батюшкова, «На холмах Грузии», «Под небом голубым» и «Воспоминание» Пушкина.