Родился в Славянске Харьковской губернии (теперь Славянск в Донецкой области Украины). Учился в харьковской рисовальной школе, в вечерних классах СХПУ, в академии Р. Жюльена в Париже (1897—1898) и в Петербургской Академии художеств (1898—1907) у В. Е. Савинского, П. О. Ковалевского.
Жил в Москве. Один из основателей объединения «Бубновый валет», его председатель (1911).
Также был членом художественных объединений:
Преподавал в московских «Свободных художественных мастерских» (1918—21) и ВХУТЕИНе (1926—29).
1932 — Пётр Петрович приобрёл у А. И. Трояновской усадьбу Бугры (ныне известную как «дача Кончаловского»), позже вошедшую в границы города Обнинска.
1943 — Сталинская премия первой степени
1946 — народный художник РСФСР
1947 — действительный член АХ СССР
Награждён орденом Трудового Красного Знамени и медалями.
За 60 творческих лет художник создал около двух тысяч полотен. Похоронен на Новодевичьем кладбище.
В живописи был сезаннистом и вообще испытывал сильное влечение к Европе, прекрасно говорил по-французски. Также испытал влияние своего тестя, В. И. Сурикова, с которым впервые выезжал на этюды в Испанию, позже они работали по всей Европе. В раннем периоде художник стремился выразить праздничность цвета, свойственную русскому народному творчеству при помощи конструктивности цвета Поля Сезанна. Известен стал благодаря своим натюрмортам, часто исполненным в стиле, близком аналитическому кубизму и фовизму.
Мастерская художника расположена в доме на Садовом кольце у Триумфальной площади, в том самом подъезде, где жил М. Булгаков, со времён революции и поныне принадлежит семье Кончаловских. После Октябрьской революции Пётр Петрович перешёл к более реалистической манере, став одним из ведущих мастеров советской живописи. При помощи цвета художник стал передавать то, что называется «радостью, счастьем жизни». При этом во многих известных его работах буйство красок не может заслонить и драматизм (портрет В. Е. Мейерхольда), и комизм (портрет А. Н. Толстого) ситуации, времени и личности, участвующей в создании портрета. Портрет Мейерхольда Кончаловский писал, когда Всеволод Эмильевич уже лишился своего театра, а сам художник (будучи академиком в то время) не стал писать портрет И. В. Сталина, сославшись на то, что он «реалист» и не может делать портреты по фотографии.
Оставаясь независимым (насколько это было возможно в те времена), художник все свои работы представлял на суд супруги, Ольги Васильевны. Если она говорила: «Не то», то участь холста была предрешена — «под нож», или Пётр Петрович использовал их под новые произведения, безжалостно загрунтовывая предыдущую работу. С внешним миром старался не конфликтовать, свои суждения высказывал обычно с большой долей иронии. Персональная выставка в СССР состоялась только после смерти Сталина.
Во время поездки по Кавказу в 1927, Кончаловский выполнил ряд натурных зарисовок и этюдов маслом, в том числе навеянных лирой Лермонтова:
В 1941 году Пётр Петрович приступил к работе над портретом Лермонтова, который в основном закончил в 1943 году. Подготовительные рисунки, эскизы к портрету (масло, итальянский карандаш, графит) хранятся в семье художника.
Кончаловский также известен как мастер театральной декорации, в 1912 оформил оперу А. Г. Рубинштейна «Купец Калашников» для театра Зимина. Сам художник эту работу относил к одной из своих лучших в этом жанре. Ныне 6 эскизов декораций и 17 эскизов костюмов хранятся в ГЦТМ им. А. А. Бахрушина; эскиз декорации «Зима. Улица» можно увидеть в издании музея «Альбом. ЦГТМ им. Бахрушина, М., 1971, с. 140», 4 эскиза — в издании Пахомова, с. 338—39.
Художник оставил большое графическое наследие.
Однажды в мастерскую Кончаловского пришёл Владимир Маяковский в экстравагантной жёлтой блузе, с красно-оранжевой морковкой, торчавшей вместо платка из кармана, («бубнововалетчики» к тому времени с «футуристами» уже поссорились). «Футуристам здесь делать нечего», — сказал художник и захлопнул дверь перед носом поэта.
В СССР у академика персональная выставка состоялась после смерти Сталина.