Родился в 1859 году в Кишинёве Бессарабской губернии в семье купца Матвея (Мотла) Бернштейн-Когана (родом из Одессы) и его жены Двойры (Доры) Бернштейн-Коган. Изучал медицину в Петербурге и Дерпте, получил степень доктора медицины в последнем. В годы обучения в Дерптском университете под впечатлением волны еврейских погромов, прокатившейся по городкам юга России в 1881 году увлёкся палестинофильством, вёл палестинофильский кружок. После обучения вернулся в Кишинёв, где открыл медицинскую практику. Состоял председателем правления открытого при его содействии в 1885 году кишинёвского Женского профессионального училища для еврейских детей.
На Первом сионистском конгрессе в августе 1897 года в Базеле был избран уполномоченным по созданию сионистских организаций в России. В 1897—1901 годах возглавлял так называемое Почтовое бюро в Кишинёве, осуществлявшее связи между сионистскими организациями в различных городах России, затем переехал с семьёй в Харьков. С 1898 года состоял под полицейским надзором.
В 1901 году, накануне Пятого сионистского конгресса в Базеле, стал основателем и идеологом Демократической фракции во Всемирной сионистской организации, в которую также вошли Хаим Вейцман, Лео Моцкин и Мартин Бубер. Демократическая фракция, просуществовавшая до 1904 года и ориентировавшаяся главным образом на молодёжь, противоставляла себя лидеру движения Теодору Герцлю, стояла на демократических и антиклерикальных позициях, и привлекала внимание к вопросам кооперативного хозяйствования, поселенческой деятельности и культурно-воспитательной работы. Бернштейн-Коган стал одним из организаторов Конференции сионистской демократической молодёжи, которая открылась 18 декабря 1901 годa в Базеле накануне V съезда Всемирной сионистской организации (открывшегося 26 декабря); был избран в её президиум, в который также вошли Хаим Вейцман и Лео Моцкин. На самом конгрессе Бернштейн-Коган возглавил оппозицию т.н. плану Уганды (план еврейской колонизации Уганды). В 1903 году привлекался по делу типографии партии социалистов-революционеров в Одессе.
До 1907 года Я.М. Бернштейн-Коган работал в Харькове, в 1902 году был избран уполномоченным I и II еврейских молитвенных обществ города (но не утверждён губернатором), избирался выборщиком по кадетскому списку в I и II Государственные думы. На минском съезде российских сионистов в 1902 году был избран членом комиссии по делам культуры и воспитания, на Седьмом сионистском конгрессе в июле 1905 года в Базеле вошёл в состав Правления Всемирной сионистской организации, был членом Исполнительного комитета Всемирной сионистской организации и Центрального комитета сионистской организации России.
В 1907 году Я.М. Бернштейн-Коган поселился в Палестине, работал врачом в Нижней Галилее и Петах-Тикве, стал первым окружным врачом еврейских колоний в стране. В 1908 году был одним из основателей Объединения врачей Земли Израиля. В конце 1910 года вернулся в Кишинёв, был гласным кишинёвской городской думы, участвовал в подготовке Седьмого съезда российских сионистов в 1917 году в Петрограде и был членом его президиума, тогда же избран в Учредительное собрание от Бессарабской губернии. В 1921 году вместе с М.И. Готлибом и Н.М. Ройтманом стал учредителем Общества ремесленного и земледельческого труда (ОРТ) Бессарабии (оккупированной в то время Румынией).
В 1925 году вновь поселился в Палестине, где уже проживала его дочь; в сентябре 1926 года стал посланцем Джойнта в еврейских земледельческих колониях советской Украины, работал врачом в еврейских сельскохозяйственных поселениях в Крыму, умер 12 мая 1929 года в Днепропетровске.