Родился в селе Завражье Юрьевецкого района Ивановской Промышленной области (ныне — сельское поселение Завражье Кадыйского района Костромской области), на Волге, в литературной семье. Отец, Арсений Александрович Тарковский — поэт и переводчик, уроженец Елизаветграда, (Украина). Мать, Мария Ивановна Вишнякова, окончила Литературный Институт в Москве.
В 1935 году Арсений Александрович оставляет семью, а в 1941 году уходит добровольцем на фронт, где после ранения теряет ногу. Мария Ивановна устраивается корректором в Первую Образцовую типографию в Москве, где она проработает до пенсии.
В 1939 году Андрей поступает в московскую школу № 554 (ныне — Школа № 1060), но война снова приводит его в места раннего детства. Мать увозит Андрея и его младшую сестру в эвакуацию в Юрьевец, к родным. «Это было тяжёлое время. Мне всегда не хватало отца. Когда отец ушёл из нашей семьи, мне было три года. Жизнь была необычно трудной во всех смыслах. И все-таки я много получил в жизни. Всем лучшим, что я имею в жизни, тем, что я стал режиссёром, — всем этим я обязан матери» — вспоминал Тарковский. Мария Ивановна по льду ходила за реку, носила картофель из дальних деревень.
Уже в 1943 году Тарковские возвращаются в Москву, а Андрей — в свою старую школу, где он учится в одном классе с Андреем Вознесенским. Детские годы Андрей проводит с бабушкой, матерью и сестрой в деревянном доме на улочке Щипок в Замоскворечье. И хотя жизнь свою Андрей прожил в основном в Москве, образом отчего дома остался для него дом его детства в Юрьевце, где сейчас открыт дом-музей Тарковского. Таким и предстанет он более чем сорок лет спустя в фильме «Зеркало», где будут отражены многие впечатления детства — уход отца, трудности быта, эвакуация, школа, образ матери с двумя детьми на руках.
Школьный аттестат Андрея Тарковского, хранящийся в архиве ВГИК, не обнаруживает следов прилежания или увлечения ни по одной из дисциплин — говорит, скорее об отсутствии интереса к естественным наукам и о сносных знаниях в гуманитарных. Воспитание Андрея было традиционно художественным. Семи лет его отдали в районную музыкальную школу (по классу фортепиано), а в седьмом классе он поступил в художественную школу имени 1905 года, где занимался рисованием.
В 1951—1952 годах Тарковский учился на арабском отделении Московского института востоковедения, однако, получив сотрясение мозга на занятиях по физкультуре, оставил занятия. «Во время обучения я часто думал о том, что несколько поспешно сделал выбор профессии, — писал Андрей в своей автобиографии, поданной во ВГИК, — я недостаточно знал ещё жизнь». Не окончив курс, он устроился в ВНИИ цветных металлов и золота, а в мае 1953 года — коллектором в научно-исследовательскую экспедицию института НИГРИЗолото в далёкий Туруханский район Красноярского края. Там он проработал почти год на реке Курейке, прошёл пешком сотни километров по тайге и сделал альбом зарисовок, который затем сдал в архив Нигризолота.
«Всё это укрепило меня в решении стать кинорежиссёром», — писал он в той же автобиографии. Однако экзотический год жизни — впечатления тайги, экспедиции и связанной с ними романтики — прямого отражения в его режиссёрском творчестве, если не считать учебных работ во ВГИКе, не нашёл.
По возвращении из экспедиции в 1954 году Тарковский подал документы во ВГИК и успешно поступил на режиссёрское отделение (мастерская М. И. Ромма). «Выбор этот был скорее случайным, чем осознанным», — неоднократно повторял Тарковский в более позднем возрасте. Однако, уже начав учёбу, Тарковский увлекся молодой формой искусства.
Годы учёбы и раннего творчества Тарковского совпадают с хрущёвским периодом обновления в искусстве. Ещё незадолго до того факультет кинорежиссуры не сулил больших возможностей — годовая продукция кино была мала, и фильмов хватало разве что маститым режиссёрам. В 1953 году было принято решение об увеличении производства фильмов. В 1954 году, когда Тарковский подал заявление во ВГИК, кинопродукция достигла 45 фильмов в год, а в 1955 году их стало уже 66. Но кроме быстрого количественного роста фильмов — а значит, и возможностей — существенную роль в становлении Тарковского сыграло то обстоятельство, что незадолго до него в институт пришло военное поколение. Оно-то и создало феномен «школы ВГИК». Люди ещё молодые, но уже воевавшие, обладавшие опытом жизни и осознанным стремлением выплеснуть его в искусстве, пришли в поэзию, литературу, театр и кино. Именно им предстояло на рубеже 1950—1960 годов обновить темы и средства выразительности, круг жизненных наблюдений искусства и представление о герое. В 1956 году дебютировала целая плеяда молодых режиссёров, сценаристов, операторов, актёров. Всего за два года (1955—1956) молодые режиссёры сделали около 50 фильмов.
В 1956 году наступает период «оттепели», начало которого ознаменовало разоблачение культа личности Сталина на ХХ съезде КПСС. Веяние этой «оттепели» принесло в среду молодёжи западную литературу и музыку, зарубежный авторский кинематограф, итальянский неореализм и французскую «новую волну». Тарковский, вместе со своим другом и соавтором Андреем Кончаловским ездят в архив Госфильмофонда в Белых Столбах, где они смотрят фильмы Куросавы, Бунюэля, Бергмана, Брессона, Мидзогути. Термин «оте?р» (от французского auteur), уже принятый западной кинокритикой, обозначающий единого автора картины, создателя слова и образа, под контролем которого находятся все аспекты кинопродукции, от сценария до монтажа — усваивается Тарковским как необходимое условие творчества.
Главным педагогом и наставником Тарковского в годы его учёбы стал Михаил Ромм, воспитавший многих кинорежиссёров. Будучи режиссёром повествовательным и жанровым, в значительной мере воплощающим для своих студентов кинематограф соцреализма 1930-х годов, который многие из них отрицали и критически переосмыслили, Ромм был учителем, развивавшим в своих учениках творческую индивидуальность и верность своей правде. Он давал им взаймы деньги, выручал их в случае неприятностей, покровительствовал им на киностудиях, защищал их работы, порой опровергавшие его собственные.
Первая режиссёрская курсовая работа Тарковского — короткометражный фильм «Убийцы» был поставлен осенью 1956 года совместно с Александром Гордоном и Марикой Бейку по рассказу Хемингуэя. Эта работа получила высокую оценку Ромма. За ней последовал среднеметражный фильм «Сегодня увольнения не будет» (1957) и «Концентрат» (1958), отразивший опыт работы Тарковского в геологической партии, визуально насыщенный сценарный этюд, сохранившийся только на бумаге.
На третьем курсе Тарковский встречает в монтажной Андрея Кончаловского, в то время первокурсника режиссёрского отделения. С этого момента начинается их творческая дружба и соавторство. Они обнаруживают много общего во взглядах на кинематограф, им нравятся одни и те же режиссёры — А. Довженко, Л. Бунюэль, А. Куросава.
Вместе они пишут сценарий «Антарктида — далёкая страна» (1959 год), отрывки из которого публикует «Московский комсомолец». Тарковский пытается предложить сценарий к постановке на «Ленфильме», но получает отказ. После этого они работают над сценарием «Каток и скрипка» (1960 год) и успешно продают его только что созданному объединению «Юность» на «Мосфильме». Детский сентиментальный сюжет этого сценария рассказывает о короткой дружбе мальчика, играющего на скрипке, и водителя катка.
Тарковский получает разрешение поставить «Каток и скрипку» в качестве дипломной работы. Он предлагает молодому оператору Вадиму Юсову снять для него эту короткометражную картину. Концепция картины сформировалась под воздействием увлечения Тарковского и Кончаловского фильмами французского режиссёра Альбера Ламориса, в частности, его короткометражным фильмом «Красный шар», завоевавшим в 1956 году Гран-при на Каннском кинофестивале и Оскара. Эта первая совместная работа Тарковского и Юсова, отмеченная раскрепощённостью камеры и цветовой выразительностью, принесла Тарковскому первый приз на фестивале студенческих фильмов в Нью-Йорке в 1961 году.
В 1960 году Тарковский закончил ВГИК с отличием и получил диплом № 756038.
Народный артист РСФСР (1980).
С 1982 года Тарковский направляется в Италию для съёмок фильма «Ностальгия». По окончании съёмок в 1984 году режиссёр принял решение не возвращаться в СССР. После этого он снял только один фильм — «Жертвоприношение» (снят в Швеции, совместная продукция европейских стран).
Тарковский умер от рака лёгких в Париже в возрасте 54 лет в 1986 году. Награждён Ленинской премией (1990, посмертно).
В 1988 году во Львове прошёл Всесоюзный Круглый Стол «ВЗГЛЯД», посвященный творчеству А. А. Тарковского, в котором приняло участие свыше 300 делегатов (критики, киноведы, философы, культурологи, члены съемочной группы А.Тарковского, киноклубники и пр), и были проведены первые в СССР и за рубежом Чтения по творчеству Тарковского. Здесь же было учреждено «Общество Андрея Тарковского» со штаб-квартирой в Москве в СК СССР.
В 1989 году был организован «Фонд Андрея Тарковского», который проводит фестивали и выставки, посвящённые творчеству режиссёра, ведёт архивную работу. С 1993 года в рамках Московского международного кинофестиваля присуждается премия имени Тарковского «лучшему фильму конкурсной или внеконкурсной программы».
Рождается третий сын Александр, которого Андрей Тарковский никогда не видел (мать — Берит)
«В последний год жизни отец Силуан неоднократно исповедовал и причащал его, во флорентийском доме Тарковских. Отец Силуан (Ливи) говорит про Андрея Тарковского, что это был глубоко и тонко верующий человек. Как человек творческий Андрей был человеком со сложной и напряженной внутренней духовной жизнью».
«Как пример его православного творчества, можно привести фильм „Андрей Рублёв“. Удивительно, как точно удалось Андрею Тарковскому показать переломы монашеской жизни, внутренний мир инока и непростые внутримонастырские отношения».