Родился в Смоленске в семье инженера-химика. В 1924 г. окончил медицинский факультет Московского университета. Ученик Петра Борисовича Ганнушкина (1875—1933). Работал на кафедре психиатрии Московского университета ординатором, ассистентом. С 1932 по 1975 гг. возглавлял кафедру психиатрии Киевского медицинского института. Звание профессора присвоено в 1932 г. Диссертацию на получение ученой степени доктора медицинских наук написал в 1940 г. («Эпилепсия — эпилептоидия»). Входил в состав правлений Всесоюзного, Украинского республиканского и Киевского городского научных обществ невропатологов и психиатров. В 1964 г. ему было присвоено почетное звание Заслуженного деятеля науки и техники УССР.
Брат Якова Павловича Фрумкина — Анатолий Павлович Фрумкин (1897—1962) — выдающийся хирург-уролог, главный уролог советской армии в годы Второй мировой войны, с 1946 г. — бессменный председатель Всесоюзного общества урологов. Одна из сестер — инженер-химик, другая — врач-кардиолог. Жена — врач-невропатолог. Одна из дочерей — кандидат медицинских наук, зав. лабораторией биомеханики, другая — инженер.
Известен исследованиями в области клинической психиатрии — систематики, дифференциальной диагностики и лечения психических расстройств. Много лет работал над проблемой эпилепсии. Киевская психиатрия стала сплавом санкт-петербургской, московской и собственной оригинальной психиатрических школ. Здесь слились организационное, экспериментально-лабораторное и клиническое направления. Сотрудники кафедры, возглавляемой Я. П. Фрумкиным, сотрудничали с терапевтами, инфекционистами, невропатологами, патофизиологами. Это сотрудничество позволило добиться значительного продвижения многих разделов психиатрии, особенно геронтопсихиатрического и гериатрии в целом, клиники эпилепсии, шизофрении, сосудистых, инфекционных и алкогольных психозов. Яков Павлович Фрумкин работал в Психоневрологическом институте вместе с Б. Н. Маньковским, сотрудничал с академиком А. А. Богомольцем в изучении гериатрической психиатрии и реактивности при психических заболеваниях. Я. П. Фрумкин описал типы течения психозов, внес крупный вклад в теорию и практику психиатрического диагноза. Яков Павлович Фрумкин разрабатывал проблемы инфекционной и алкогольной патологии, клиники шизофрении, психоза позднего возраста, описал типы течения психических заболеваний, клинику атеросклеротического галлюциноза, клинические формы и типы течения эпилепсии. Он автор более 150 научных работ и 4 монографий, которые были настольными книгами нескольких поколений психиатров. Среди его учеников — профессора И. Е. Сливко, И. А. Мизрухин, И. Я. Завилянский, Г. Л. Воронков, который наследовал его кафедру, Михаил Романович Мозиас.
Якова Павловича Фрумкина отличали высокая общая культура в области литературы, живописи, музыки и разносторонняя собственная художественная одаренность: он рисовал и писал стихи. В течение нескольких лет он, обучаясь на медицинском факультете Московского университета, был студентом Московского училища ваяния, живописи и зодчества.