Родился в селе Доброе, ныне Липецкой области, в семье дьячка.
Дьячок был человек оборотливый, содержал постоялый двор, открыл у себя школу и Левитов уже восьми лет был «подмастерьем» у отца и вёл целый класс. Небольшая семья много трудилась, нередко даже непосильно, но жила безбедно и дружно и, в общем, детские годы Левитова прошли привольно и ласково.
Они наложили неизгладимый отпечаток на его мягкую, поэтическую и немного экзальтированную натуру. Лучшие страницы его нестройных, но часто полных истинной поэзии произведений — те, в которых он обращается мыслью к золотой поре своего детства, к воспоминаниям о безбрежной шири родной степи. Чувство природы, воспитанное тем, что мальчик пользовался каждой свободной минутой, чтобы убегать в окружавшую Доброе степь, было чрезвычайно развито в Левитове; он зорким глазом истинного художника подмечал в ней самые мимолетные оттенки и умел их передавать ярко и обаятельно. Его описания придонских степей принадлежат к лучшим образцам русского пейзажа.
Учился Левитов в Лебедянском духовном училище и Тамбовской духовной семинарии и шёл одним из первых. Под конец учения семинарское начальство, всегда недолюбливавшее Левитова за «сочинительство» и увлечение светской литературой, стало особенно преследовать его и подвергло его однажды, накануне перехода в высший класс, телесному наказанию, вследствие чего он заболел нервной горячкой и затем бросил семинарию. Это описано в во многом автобиографическом рассказе «Петербургский случай».
С несколькими рублями в кармане он пешком добрел до Москвы, потом перебрался в Петербург и поступил 1855 году в Медико-хирургическую академию. На мать писателя внезапное крушение надежды видеть сына священником подействовало потрясающе; она с горя умерла. Отец вскоре женился вторично и разошёлся с детьми; брат и сестра Левитова должны были пойти по чужим людям и терпеть всякие невзгоды. Страстно привязанный к своей семье, особенно к сестре, Левитов глубоко страдал, отчасти потому, что считал себя виной семейного разгрома, а ещё более потому, что над ним самим в то же время разразилось несчастье, лишавшее его возможности чем-нибудь облегчить горе близких. Через год после вступления в академию, вследствие какой-то истории, Левитов оказался в ссылке (сначала в Шенкурске Архангельской губернии, потом в Вологде), с обязательством отслуживать в качестве фельдшера стипендию, которую получал при обучении в академии.
Двухлетнее пребывание в ссылке оказало гибельное влияние на весь ход жизни Левитова. При полном отсутствии какого бы то ни было интеллигентного общества, да и по приниженному положению своему, Левитов поневоле завел знакомства с людьми, все развлечения которых состояли в отчаянных попойках и картёже. Это развило в нём вынесенную ещё из семинарии привычку к вину до степени болезни алкоголизма, которая в жизни Левитова сыграла роковую роль. В своём отчаянии писатель обращался даже к помощи знахарей, лечивших от запоя, и на время как будто получал облегчение. Но проходил месяц, другой, недуг возобновлялся с неудержимой силой, и он снова, по собственному его выражению, начинал «зверски жрать водку», доходя при этом до того, что полиция подбирала его на улице в состоянии белой горячки. Несчастная слабость Левитова отразилась и на его творчестве. Добрая половина его произведений посвящена «запивойству», игре пьяного воображения, пьяным галлюцинациям и т. д. Они производят иногда такое впечатление, будто ничего кроме бесшабашного пьянства и пьяного распутства и нет в русской жизни.
Весной 1859 г. он почти без гроша тронулся в путь, чтобы свидеться с родными, но добрался до Лебедяни только через полгода, потому что не только прошёл пешком все огромное расстояние, но ещё по дороге останавливался в селах и за какой-нибудь рубль нанимался работать целую неделю над приведением в порядок дел волостного управления. В его горемычной жизни наступает теперь некоторый просвет: начало 60-х годов является самым светлым периодом жизни Левитова. Поселившись в 1860 г. в Москве, благодаря счастливой случайности, познакомился с Аполлоном Григорьевым, который сразу оценил оригинальный талант Александра Ивановича и пристроил его в качестве секретаря редакции передового тогда журнала «Русского вестника». «Ярмарочные сцены. (Очерки из простонародного быта)» — это первая публикация писателя в журнале «Время» 1861.
Ободранный и потрёпанный жилец трущобных «комнат с небилью» внезапно превратился из бездомного пролетария в человека со светлыми надеждами на будущее. Он знакомится со многими писателями, встретившими дебютанта тепло и приветливо; очерки его появляются один за другим в «Московском Вестнике», «Времени», «Русской Речи», «Библиотеке для чтения», «Зрителе», «Современнике», «Развлечении» и других, иногда под псевдонимами: Гиероглифов — в «Русском мире», Иван Сизов — в «Искре». На них обращают внимание. Левитов приободряется и даже внешность его меняется; он становится франтом и если и запивает, то довольно умеренно.
Но уже к середине 60-х гг. Л. окончательно превращается в неисправимого бродягу, мечущегося в безысходной тоске, вечно кочующего из Петербурга в Москву и обратно, пробующего пристроиться то учителем в Ряжске, то воспитателем одного из московских пансионов, то на железной дороге, но нигде не выживающего больше одного-двух месяцев, потому что всякая способность к правильному образу жизни в нём совершенно исчезла под влиянием его ужасной страсти. Материальное положение все время было отчаянное; приходилось ютиться с «подругой жизни» — простой, но преданной швеёй, — в подвалах, на чердаках и Бог весть в каких трущобах, питаться впроголодь, одеваться в лохмотья. Редкими исключениями являются недолгие светлые промежутки, вроде конца 1871 г. и начала 1872 г., когда Левитов был фактическим редактором иллюстрированного журнала «Сияние».
Особенно тяжелы были последние 5 лет жизни. Заработок был ничтожен, здоровье окончательно надломлено, литературное положение подорвано вечными авансами из редакций, в уплату которых Левитов давал одни наброски и отрывки. Нужда делала Левитова настоящим пролетарием; он жил жизнью последних подонков общества, голодал и холодал. В последнем градусе чахотки он жил в нетопленой комнате; чтобы добыть из какой-то мелкой редакции 5 рублей, он в декабрьскую стужу вышел из дому в легком летнем пальто и жестоко простудился. 4 января 1877 г. Левитов умер в Московской университетской клинике.
Стиль Левитова чрезвычайно ярок и колоритен. Прежде всего он — прекрасный рассказчик, мог «из ничего» создавать очерки и рассказы. В них нет ни интриги, ни завязки, ни развязки, нет вообще и тени того, что называется сюжетом. Автор завладевает вниманием читателя благодаря уменью сообщать интерес каждой мелочи, которой коснется. Его произведения представляют собой своего рода «искусство для искусства», где неважно, что автор рассказывает, а как. Другая замечательная сторона таланта Левитова — его тонкий юмор, в связи с необыкновенно выразительным и характерным языком, с богатейшим запасом оригинальных слов и оборотов, чисто русского, хотя подчас и чисто-кабацкого остроумия. Но Левитову недоставало единства, связующего цемента. Он не создал ни типов, ни сколько-нибудь полной картины столь глубоко изученного им быта. Отдельных черт, отдельных положений и настроений в произведениях Левитова целая сокровищница, но ансамбля — никакого.
Человеком определенной партии Левитов никогда не был; усиленные попытки некоторых критиков сделать из него «печальника народного горя» весьма мало соответствуют содержанию его произведений. Уже одно то, что значительнейшая часть их посвящена ворам, проституткам, сводням, целовальникам и т. п. люду совершенно исключает возможность превратить Левитова в писателя демократического направления. Нельзя также причислять его к писателям, идеализирующим народ. В огромном большинстве случаев левитовский «народ» наводит ужас своим глубоким нравственным падением и никаких симпатий не возбуждает. Правда, часть его рассказов вышла под тенденциозным заглавием: «Горе сел, дорог и городов» — но едва ли это заглавие не придумано издателем для лучшего сбыта книги и во всяком случае оно совершенно не соответствует содержанию книги. Никакого достойного сочувствия «горя» нет в этом изображении шоссейных попрошаек, притонодержателей, родителей, сбивающих своих дочек, и прочего, как его автор сам окрестил, «беспечального народа», который «не сеет, не жнёт».