Родился в 1757 году в семье рижского пастора. 3 ноября 1775 года поступил на службу в Киевский мушкетёрский полк капралом и в следующем году был произведён в подпрапорщики, а в 1779 году в прапорщики. За это время Клейнмихель находился в походах в 1778—1779 гг. в Польше, а в 1783 году — в Крыму.
Затем он был командирован в Гатчинские войска, а 18 декабря 1784 года переведён в артиллерийский и инженерный шляхетный кадетский корпус с переименованием артиллерии подпоручиком.
6 марта 1789 года Клейнмихель был назначен адъютантом в штаб генерал-поручика Меллисино, но уже в следующем 1790 году вернулся в корпус и с этого времени уже не оставлял его, будучи 1 октября 1799 года назначен его директором, причём 21 декабря 1797 года был произведён в полковники и 28 января 1799 года — в генерал-майоры.
Пройдя суровую служебную школу в строю, Клейнмихель больше всего обращал внимание на внешний порядок и поддержание дисциплины в корпусе, а также на фронтовому обучение кадет. В том же 1800 году директором корпуса, переименованного 10 марта во 2-й кадетский, был назначен граф В. А. Зубов, причем Клейнмихель остался под его начальством в той же должности. Такое странное явление можно объяснить лишь тем, что назначение заслуженного безногого боевого генерала графа В. А. Зубова являлось лишь актом особого внимания императора Александра I к корпусу. И действительно, Клейнмихель фактически продолжал управлять корпусом, а по кончине Зубова в 1804 году остался единоличным его начальником.
Наружность Клейнмихеля была очень примечательна и на многих наводила даже страх. Высокого роста, толстый, он имел серьёзное лицо, с крупными чертами и отвисшим подбородком. «Фронтовик» по преимуществу, он памятен также как составитель первой печатной «рекрутской школы», которую кадеты должны были учить наизусть.
В 1807 году под непосредственным руководством Клейнмихеля при 2-м кадетском корпусе образовалось новое военно-учебное заведение — Волонтёрский корпус, принявший затем наименование Дворянского полка. Время управления Клейнмихелем Дворянским полком, по словам М. И. Семевского, является: «самым суровым, самым мрачным периодом жизни полка».
10 марта 1800 года был произведён в генерал-лейтенанты.
В сентябре 1812 года Клейнмихель был командирован, по Высочайшему повелению, в Ярославскую губернию, где он сформировал шесть ополченческих пехотных полков, которые во время пребывания армии в Тарутинском лагере поступили на её укомплектование. Затем Клейнмихель командовал резервными батальонами, с которыми впоследствии обложил крепость Модлин, и возвратился в Санкт-Петербург лишь в сентябре 1814 года.
13 декабря того же года Клейнмихель был назначен директором Инспекторского департамента Главного штаба с оставлением в прежних должностях.
В июне 1815 года, при возобновлении военных действий против Наполеона, Клейнмихель был командирован в Варшаву и 25 июня назначен начальником главного штаба 2-й резервной армии с оставлением в должности директора корпуса, но вернуться в него Клейнмихелю было не суждено: 5 сентября он умер в местечке Книшин под Белостоком (исключён из генеральских списков 6 ноября 1815 года).
Среди прочих наград Клейнмихель имел ордена св. Анны 1-й степени, св. Владимира 2-й степени, св. Александра Невского, св. Иоанна Иерусалимского и св. Георгия 4-й степени (пожалован 26 ноября 1804 года за беспорочную выслугу 25 лет в офицерских чинах, № 1555 по кавалерскому списку Григоровича—Степанова).
Андрей Андреевич Клейнмихель был женат на Софье Францевне урождённой Ришар, их сын, Пётр Андреевич Клейнмихель, был генералом от инфантерии и главноуправляющим путями сообщения и 26 марта 1839 года возведён императором Николаем I в графское достоинство Российской иммперии.