Родился в 1834 году в Праге в семье торговца. Обучался праву и философии. После учёбы работал преподавателем, а в 1860 году устроился на работу в местную газету в качестве журналиста. Несмотря на то, что Неруда так никогда и не женился, он поддерживал близкие отношения с писательницей Каролиной Светлой.
Ступив в литературу в тяжёлые времена и с детства наблюдая за тяготами жизни пражских бедняков, Неруда отразил суровую действительность в своём первом сборнике стихов — «Кладбищенские цветы» (1857). Его сборник «Книги стихов», вышедший в 1868 году, поднимает проблемы социального гнёта и конфликтов в чешском обществе. Наиболее известной прозаической работой писателя стал выпущенный в 1877 году сборник коротких рассказов «Малостранские повести».
Ян Неруда умер в 1891 году и был похоронен на Вышеградском кладбище в Праге. После смерти его именем была названа одна из городских улиц.