Принадлежал к полтавскому дворянству, родился в селе Деньга, Золотоношского уезда (ныне - Золотоношский район, Черкасская область). Сын юриста, преподавателя уголовного права и автора работ по юриспруденции Григория Васильевича Демченко. Образование Яков Демченко получил в первой киевской гимназии, после чего, пойдя по стопам отца, окончил юридический факультет Киевского университета. После окончания 28 лет работал по судебному ведомству (мировой судья, судебный следователь) в Чигиринском уезде. По выходе в отставку поселился в своём имении в Херсонской губернии и посвятил себя публицистике. Как публицист и общественный деятель, Яков Григорьевич Демченко выступил как убеждённый правый деятель, сторонник безусловного сохранения православно-самодержавных начал. Свои статьи и обзорно-полемические работы он помещал в правой периодике — «Киевлянине», позже некоторое время сотрудничал в «Киеве». Многие его работы впоследствии выходили отдельными оттисками и брошюрами.
Яков Демченко проявил себя как горячий и безусловный сторонник сохранения самодержавия и проведения в жизнь «национальных основ», которые понимал в черносотенным смысле. При этом он занимал своеобразную позицию по «украинскому вопросу». Он не только не признавал украинофильство «антигосударственным движением», но и подчёркивал полное право земляков на сохранение своего языка, быта, исторического наследия. По его мнению, поскольку основные духовные ориентиры у великороссов и малорусов общие, обвинения украинофильства в сепаратизме были беспочвенны. Его критика централизаторской политики Санкт-Петербурга, направленной, с его точки зрения, на лишение его земляков «племенной самобытности» была подчас резкой и вызывала дискуссии с коллегами по правому лагерю. Уже в 1910 году, выпустив отдельную брошюру «Оклеветание Шевченка некоторыми патриотами» Демченко предназначил все вырученные деньги на построение памятника Тарасу Шевченко в Киеве. По еврейскому вопросу Яков Демченко занимал непримиримую позицию. Обилие евреев в социалистических партиях он считал проявлением общего замысла «еврейского порабощения России», веря в подлинность так называемых «скрижалей Сиона». Снятие черты оседлости он считал первым шагом «экономического и духовного порабощения русских» и полностью поддерживал основные антисемитские установки черносотенного политического лагеря.