В 1408 году он женился на Анне, дочери Семёна Васильевича, князя новленского, и прожил с нею три года (она умерла в 1411 году). Во втором браке с Марьей Федоровной Кошкиной-Голтяевой. Во втором браке имел трех детей: сына Василия Ярославича, ставшего князем Серпуховско-Боровским и двух дочерей: Марию, ставшую супругой великого князя Московского Василия Темного, и Елену — ставшую супругой Михаила Андреевича Можайского.
Умер Ярослав Владимирович осенью 1426 года от моровой язвы, вместе с братьями Андреем и Симеоном (Семёном). Похоронен в Архангельском соборе Московского Кремля.