Кузьма Билибин родился в 1908 году в деревне Емельяновка ныне Юхновского района Калужской области в крестьянской семье. Русский. Окончил начальную школу, однако после смерти отца был вынужден бросить учебу и работал пастухом.
В 1930—1932 годах служил в Красной Армии, окончил школу младших командиров-танкистов. В 1932 году вступил в ВКП(б). После увольнения из армии работал инструктором Общества содействия обороне, авиационному и химическому строительству в городе Юхнов.
В 1934 году он добровольно ушел на сверхсрочную службу в Красную Армию, служил командиром экипажа танка, затем командиром танкового взвода в 4-й механизированной бригаде.
Принимал участие в гражданской войне в Испании 1936—1939 годов, сражался в составе танковой бригады Д. Г. Павлова. Во время боёв в районе города Теруэль танк младшего командира Билибина был подбит в 200 м от переднего края противника, однако он смог под огнем противника исправить повреждённую снарядом гусеницу и продолжил бой. 6 марта 1937 года управлял действиями взвода в бою на реке Харама, в бою был ранен, но продолжал командовать. В этом бою погиб.
Постановлением Центрального Исполнительного Комитета СССР от 4 июля 1937 года «за образцовое выполнение специальных заданий Правительства по укреплению оборонной мощи Советского Союза и проявленный в этом деле героизм» младшему командиру Билибину Кузьме Яковлевичу посмертно было присвоено звание Героя Советского Союза.