В 1963 году Яков Левда окончил музыкальное училище Московской консерватории по классу Михаила Турусина, а в 1968 — консерваторию по классу Мамеда Зейналова. В 1968-70 годах он играл в Московском отдельном музыкальном ансамбле. С 1970 года Яков Левда — солист-концертмейстер группы тромбонов государственного духового оркестра России.