Ёсинака принадлежал к клану Минамото, он был сыном Минамото-но Ёсикаты (?-1156) и внуком Минамото-но Тамэёси (?-1156), казненного в годы мятежа Хогэн. У него был брат Накаиэ и сын Ёситака. Ёсинака был женат на сестре Фудзивары Мороиэ. Его отец погиб от руки Минамото-но Ёсихиры (1140—1160), и Ёсинака в 2 года остался сиротой; из-за этого у него были сложные отношения с Ёритомо, братом Ёсихиры.
После убийства отца Ёсинака тоже должен был погибнуть. У Хатакэямы Сигэтады не хватило решимости на это убийство, и он передал ребенка на руки Сайто Санэмори. Тот передал его в руки Накахары Канэто в округ Кисо, после чего Ёсинака получил прозвище Кисо.
Он с детства мечтал отомстить клану Тайра, и как только получил приказ принца Мотихито о войне против дома Тайра, сразу начал набирать воинов (всего собрал около 1000 человек). Он собрался отправиться на соединение с отрядами Ёритомо, но на него напал Касахара Ёринао, сторонник рода Тайра. Ёсинака разбил Ёринао и захватил все ущелье Кисо. Это была его первая победа в той войне.
В 1181 году Тайра-но Мунэмори поручил своему союзнику Дзё Сукэнаге напасть на Ёсинаку. Дзё собрал 10 000 воинов и в 1182 году (2-м году эры Ёва) вступил в область Синано. Ёсинака устроил ему засаду и истребил всю его армию — погибло 9 000 человек. Через несколько месяцев Мунэмори снова пошёл войной на Ёсинаку, выставив против него армию под командованием Тайры-но Корэмори. Ёсинака встретил его в области Этидзэн и разбил. В 1182 году на него двинулся Дзё Нагамоти с армией в 40 000 человек. Ёсинака имел всего 3 000 воинов, но сумел разбить армию Нагамоти. Сам Нагамоти был ранен. После этого события на сторону Ёсинаки перешли все князья Синано и окрестностей.