Родился в Тарту. Окончил Тартуский университет с дипломом химика в 1979 году.
В 1978 году вступил в Коммунистическую партию. В 1985 году работал инструктором отдела промышленности и транспорта Тартуского районного комитета Коммунистической партии Эстонской ССР. В 1986—1989 годы — инструктор промышленного отдела и заведующий орготделом Тартуского райкома КПЭ, в том числе и во время разгона студенческой демонстрации 1988 года в Тарту, приуроченной к годовщине подписания Тартуского мира (1920 год) между Эстонской республикой и Советской Россией (уже в бытность премьер-министром Ансип рассказал журналистам, что он не мог быть причастным к разгону данной демонстрации, так как в те часы пил чай у тёщи).
До начала политической деятельности работал в банковских и инвестиционных предприятиях. Был членом совета директоров Народного банка Тарту (эст. Rahvapank), председателем Ливонской приватизационной коллегии, исполнительным директором акционерного общества Fondiinvesteeringu Maakler AS. Состоял также председателем совета Радио Тарту.
В 1998 году Ансип был избран мэром Тарту от Партии реформ и оставался на этом посту до 2004 года, при широкой популярности и неизменно высоком рейтинге по результатам опросов. 21 ноября 2004 года Ансип стал председателем Партии реформ, так как основатель и неизменный председатель партии, бывший премьер-министр Сийм Каллас стал вице-президентом комиссии Европейского союза и, оставив свою прежнюю должность, переехал в Брюссель. Ансип переехал в Таллин и 13 сентября 2004 года стал министром экономики в правительстве Юхана Партса, сменив на этом посту Меэлиса Атонена.
31 марта 2005 президент Эстонии Арнольд Рюйтель поручил Ансипу сформировать новое правительство, что явилось следствием отставки правительства Юхана Партса. Ансип сформировал коалицию своей партии с Центристской партией и Народным союзом, следствием чего стало представление 12 апреля 2005 года нового правительства в Рийгикогу и на следующий день правительство приступило к работе. После победы своей партии на выборах в Рийгикогу 4 марта 2007 года, Ансип, набравший 22 540 голосов, образовал коалицию с партией социал-демократов и объединением Союз Отечества-Рес Публика (эст. Isamaa ja Res Publica Liit (IRL)).
8 июля 2006 года на выступлении перед ветеранами 20-й эстонской дивизии СС Ансип положительно оценил деятельность эстонских эсэсовцев: «Я не могу согласиться с теми, кто считает вашу борьбу бессмысленной. Как можно считать бессмысленным то, что люди исполняли свой долг перед своим народом и государством?»
Ансип выступил инициатором законопроекта «О сносе запрещённых сооружений», который, однако был отклонен президентом Эстонии Ильвесом и не вступил в силу. Но парламент принял «Закон о защите воинских захоронений», который давал основание для перезахоронения останков солдат, похороненных в неподходящем месте (например, в парке), а также в местах, где воинские захоронения невозможно обеспечить надлежащим уходом. По мнению многих политических комментаторов, премьер-министр Эстонии Андрус Ансип в ходе предвыборной кампании пообещал перенести памятник Воину-освободителю, чтобы завоевать голоса избирателей, прежде традиционно голосовавших за маргинальные националистические партии, не представленные в парламенте, и тем самым набрать недостающие для получения полномочий сформировать правительство проценты.
Перед началом эксгумации останков премьер Ансип несколько раз публично гарантировал порядок и безопасность гражданам страны.
26 апреля 2007 года Бронзовый солдат (памятник павшим во Второй мировой войне) был демонтирован и позднее перенесён на Военное кладбище Таллина. По официальным данным, в ходе вспыхнувших в результате этого волнений в городах страны было ранено 156 человек, один погиб.
Получивший на выборах рекордный результат Андрус Ансип за полгода правления добился у народа самой большой по сравнению со всеми предшественниками поддержки. Фирма Emor по заказу газеты Postimees измерила уровень поддержки правительства и парламента по 10-балльной шкале, на которой 10 баллов означают полную поддержку и 1 балл — полное отсутствие таковой. Средний балл правительства Марта Лаара (1999—2002) 4,67, правительства Сийма Калласа (2002—2003) и Юхана Партса (2003—2005) имели по 5,17 балла. Средний балл правительства Андруса Ансипа — 5,87.
6 марта 2011 года прошли очередные парламентские выборы. Право-центристская коалиция, состоящая из партии Андруса Ансипа и Союза Отечества-Рес Публика получила большинство голосов избирателей, что позволит коалиции занять 56 из 101 места в национальном парламенте.
Супруга Андруса Ансипа Ану Ансип по профессии врач-гинеколог. В семье три дочери — Реэт, Лийса и Тийна.
Ансип постоянно занимается велоспортом, а также увлекается лыжным спортом.
В 1996 году во время велосипедной прогулки Ансип попал под машину. Он перенес 11-часовую операцию и 3 месяца был прикован к постели. Восстановление заняло у него 14 месяцев. Спустя годы Ансип признался, что после аварии «было бы лучше покинуть этот мир».