Учился в Дессау у Карла Дрехслера, затем в Брауншвейге у Августа Теодора Мюллера и наконец в Дрездене у Фридриха Августа Куммера. В 1840—1846 гг. работал в парижской Опере, где сдружился с Францем Листом и Гектором Берлиозом. В 1847—1848 гг. виолончелист лейпцигского Гевандхаус-оркестра и преподаватель Лейпцигской консерватории. В 1849—1850 гг. гастролировал во Франции и Англии, в том числе проводил дуэтные концерты с Йозефом Иоахимом. C 1850 г. виолончелист придворной капеллы в Веймаре. В 1866—1870 гг. профессор виолончели в Московской консерватории. В 1870—1878 гг. жил в Баден-Бадене. С 1878 г. и до смерти профессор франкфуртской Консерватории Хоха.
Среди собственных сочинений Коссмана — прежде всего, фантазии на темы популярных опер («Вольный стрелок», «Вильгельм Телль» и др.), народных песен и т. п. Ряд пьес он написал специально для своего любимого ученика Генриха Кифера. Дружеские отношения связывали Коссмана с Альфредо Пиатти, которому он посвятил Концертные этюды Op. 10 (Пиатти, в свою очередь, посвятил Коссману Двенадцать каприсов).