Яков Григорьевич Крейзер родился 4 ноября 1905 года в еврейской семье в Воронеже. В Красной Армии с 1921 года. Добровольцем вступил в 22-ю пехотную школу. По её окончании был назначен командиром взвода в одну из частей Московского гарнизона. С 1928 — в 1-й Московской Пролетарской стрелковой дивизии, в которой прошёл по всем ступеням командной лестницы от командира роты до командира полка. В 1939—1940 гг. сначала заместитель командира, затем командир 172-й стрелковой дивизии. В 1941 году после окончания курсов усовершенствования командного состава при Военной академии имени М. В. Фрунзе назначен командиром 1-й Московской пролетарской дивизии 7-го механизированного корпуса.
В начале июля 1941 года в районе города Борисова 1-я мотострелковая преградила путь 18-й танковой дивизии вермахта и более десяти дней сдерживала её продвижение вдоль автострады Минск — Москва. За это время войска второго стратегического эшелона РККА успели занять оборону по Днепру.
11 июля пришёл приказ вывести 1-ю мотострелковую дивизию из боя, однако уже на следующий день дивизию направили на ликвидацию немецкого плацдарма, захваченного на Днепре. 12 июля Крейзер был ранен и эвакуирован.
7 августа 1941 года ему было присвоено звание генерал-майор.
25 августа 1941 назначен командующим 3-й армией Брянского фронта, которая участвовала в Смоленском сражении и Московской битве.
За время войны Я. Г. Крейзер был дважды ранен.
В годы войны Крейзер был членом президиума Еврейского Антифашистского комитета.
В июле 1945 года Я. Г. Крейзеру присвоено звание генерал-полковника. В 1946-48 годах он был командующим 7-й армией (штаб армии располагался в Ереване).
В дальнейшем Я. Г. Крейзер служил на Дальнем Востоке. В 1949 году окончил Высшие академические курсы при Военной академии Генштаба. Командовал войсками Южно-Уральского (1955—58 годы), Забайкальского (1958-60 годы), Уральского (1960-61 годы) и Дальневосточного (1961-63 годы) военных округов.
В 1953 году, во время «дела врачей», будучи вызванным в ЦК, Я. Г. Крейзер наотрез отказался подписать так называемое «Письмо представителей еврейской общественности», требующее смертной казни для арестованных врачей-евреев.
В июле 1962 года Я. Г. Крейзеру присвоено звание генерала армии. В 1963-69 годах — начальник Высших офицерских курсов «Выстрел». С 1969 года в Группе генеральных инспекторов Министерства обороны СССР.
Депутат Верховного Совета СССР с 1962 по 1966 год.
Скончался 29 ноября 1969 года. Похоронен в Москве на Новодевичьем кладбище.
Именем генерала Крейзера названы улицы в Воронеже, Севастополе и Симферополе.