В 1849—1858 гг. пел в хоре мальчиков лондонского Собора святого Павла, в остальном был по преимуществу музыкантом-самоучкой. С 1863 г. давал частные уроки фортепиано, позднее был титулярным органистом церкви святого Петра в лондонском районе Брокли. В 1880 г. стал первым профессором гармонии в новоучреждённой Гилдхоллской школе музыки. Помимо учебника гармонии (1883) и пособия «Техника пения с листа» (англ. A Technical Method of Sight-singing; 1897), Гэдсби принадлежит ряд хоровых сочинений — кантаты «Псалом 130» (1862), «Колумб» (1881), «Циклопы» (1883) и др., отдельные гимны и песни, а также концертная увертюра «Андромеда», концерт для органа, струнный квартет. По язвительному замечанию Фредерика Кордера, учившегося у Гэдсби в детстве, он был «типичным викторианским композитором, чьи сочинения всегда встречали одобрительный приём и никогда больше не исполнялись», «серьёзным музыкантом, чья жизненная задача состояла в том, чтобы научить других быть такими же, как он сам».