Родился в семье шорника, третий из семи детей. В 1883 семья переехала в Клайд, штат Огайо. Этот город позже послужил прототипом Уайнсбурга в одноименном произведении Андерсона. Не получил среднего образования, так как бросил школу и сменил множество разных занятий, чтобы содержать семью после смерти отца. Примерно через год после смерти матери (1895) уехал в Чикаго, где поступил на службу на склад, но сразу был призван в армию на Кубу (Испано-американская война). По возвращении (после 1900) год отучился в Виттенбергском колледже в Спрингфилде (штат Огайо), затем вернулся в Чикаго. Начал писать эссе и рассказы.
В 1904 году женился на Корнелии Лэйн, переехал в Кливленд, где стал главой почтовой фирмы, затем открыл собственный бизнес в Элирии, штат Огайо. В 1910 начал писать романы, но в 1912 пережил тяжелый нервный срыв, после чего вернулся в Чикаго. В 1916 развелся (от первого брака осталось трое детей), в том же году женился на скульпторе Теннесси Митчелл, в 1924 — на управляющей книжным магазином Элизабет Пролл и поселился в Новом Орлеане, где познакомился с подчиненным своей жены, Уильямом Фолкнером. В 1929 разошёлся и с этой женой, женился в четвёртый раз в 1933 на Элинор Коуперхэйвер.
В 1921 и 1927 путешествовал по Европе. В 1926 купил ферму около Мэрион, штат Виргиния, где и поселился до конца жизни. В 1941 отправился с женой в путешествие в Южную Америку, но на корабле заболел и умер от перитонита в Зоне Панамского Канала. Похоронен на кладбище в Мэрион.
Начал публиковаться в 1914, полностью посвятил себя литературе с 1923. Новеллистика Андерсона (сборники «Уайнсбург, Огайо», 1919; «Торжество яйца», 1921; "Кони и люди, 1923, и др.) принадлежит к лучшим страницам американской словесности и стала образцом для Фолкнера, Томаса Вулфа, Хемингуэя, Стейнбека, Рэя Брэдбери. При этом Хемингуэю принадлежит пародия на Андерсона — повесть «Вешние воды» (1926), ознаменовавшая творческий разрыв между писателями. Сборник «Уайнсбург, Огайо», объединяющий 25 рассказов о жизни вымышленного провинциального города на Среднем Западе (общей сюжетной линии нет, но многие персонажи переходят из рассказа в рассказ, а один — Джордж Уиллард — проходит почти через все рассказы сборника, и книга заканчивается его отъездом из Уайнсбурга), был с большим энтузиазмом воспринят критикой. Тем не менее, более позднее творчество Андерсона, 1920-х и особенно 1930-х, не получило столь восторженных оценок, и часто считается, что поздние произведения Андерсона не оправдали тех ожиданий, которые он создал своими ранними работами.