Женат на Агриппине (1350/2-?), дочери Святослава Ивановича, великого князя Смоленского. Сестра Агриппины Анна была женой Витовта.
Дети
- Александр Нелюб (ок. 1364/6 — после 1406);
- Борис (ок. 1368—1399);
- Семён (Семён Лютый) (ок. 1370—1433) — наместник в Новгороде Великом (или Новогородке) в 1422;
- Михаил (ок. 1372—1433) — наместник киевский;
- Андрей (ок. 1374 — ?);
- Ульяна (1375—1448). Муж: Иван Мстиславич Хотет, князь Карачевский; второй муж: Витовт (с 1418), великий князь литовский;
- Анна (годы жизни неизвестны) — супруга мазовецкого князя Болеслава III (согласно ранним источникам). Более правдоподобной считается версия, согласно которой Болеслав III был женат на Анне Фёдоровне, дочери князя Фёдора Ольгердовича и внучке великого князя литовского Ольгерда.