После смерти отца Джованни ди Биччи в 1429 году, получив в наследство огромное состояние в 180 000 флоринов, не считая кредитов и недвижимого имущества, Козимо и его брат Лоренцо возглавили партию пополанов. В то время городу Флоренции повиновалась значительная часть Тосканы, города Пиза, Ареццо и Вольтерра. Флорентийцы задумали покорить и город Лукку, в чём их поддержала партия аристократов во главе с Ринальдо Альбицци. Козимо также выступил за необходимость начала войны с Луккой. Военными действиями управляли аристократы, поэтому их влияние усилилось. Все восемь приоров и гонфалоньер, составлявшие сеньорию, избирались тогда из аристократической партии. Чтобы упрочить своё положение, аристократы решили изгнать из города пополанов — своих главных соперников в борьбе за власть. Но кроме политических соображений Ринальдо Альбицци руководствовался и личной враждой к семье Медичи. Ходили слухи, что во время войны, заведуя военными расходами, Альбицци присвоил себе государственные деньги. Возникновение этой молвы Альбицци приписывали Медичи.
Свой главный удар партия аристократов направила на Козимо, обвинив его в распространении ложных слухов и в подстрекательстве народа с намерением провести мятеж и сделаться правителем Флоренции. В результате сеньория потребовала от Козимо объяснений, и он, не слушая предостережений друзей, явился во дворец, где его арестовали по обвинению «в возвеличивании себя выше, чем других», и заключили в темницу. Стеречь Козимо поручили начальнику тюрьмы Федериго Малавольти. Медичи опасался, что его отравят, а потому воздерживался от еды и за четыре дня заключения съел только немного хлеба. Заметив это, Федериго сжалился над Козимо и пообещал, что будет разделять вместе с ним всю еду, которую будут приносить, в доказательство своей преданности Козимо. Слова эти вернули узнику мужество, со слезами на глазах он обнял и поцеловал Федериго, горячо благодаря за сострадание и доброту и обещая воздать ему за них, если судьба предоставит такую возможность.
Тем временем флорентийцы для решения вопроса с Козимо назначили комиссию с неограниченными полномочиями из 200 человек, называвшуюся балией. Почти все члены комиссии принадлежали к партии аристократов, и поэтому Ринальдо Альбицци смело выступил с предложением казнить Козимо. Но прийти к согласию балии не удалось. Кто-то сочувствовал Медичи, кто-то боялся и молчал, так что принятие окончательного решения постоянно откладывалось. Тогда Козимо решил действовать.
Как-то раз тюремщик привёл на обед к Медичи некого Фарганаччо, приятеля гонфалоньера. Козимо, дружески поговорив с Фарганаччо, дал ему письменную доверенность на получение тысячи ста дукатов: из них сто Фарганаччо забирал себе, а тысячу должен был передать гонфалоньеру Бернардо Гуаданьи. Человек небогатый, Гуаданьи принял деньги и сделал своё дело — убедил балию отвергнуть предложение Альбицци о смертной казни. В результате Козимо и многих его друзей и родственников на десять лет изгнали из флорентийской республики
3 октября 1433 года Козимо предстал перед членами сеньории. Выслушав приговор, он с безмятежным видом заявил, что отправится в любое место, какое ему назначат, однако вместе с тем попросил защиты, добавив, что на площади собралось немало людей, желавших его смерти. Гонфалоньер взялся помочь Козимо избежать столкновений с недоброжелателями: отужинав дома у гонфалоньера, Козимо под сильной вооруженной охраной отправился к границе республики.
Всюду по пути Козимо встречали с почетом, а венецианцы и вовсе открыто посетили его, и притом не как изгнанника, а как важного государственного деятеля, по сути правителя Флоренции. Позже Козимо уехал в Падую, также был принят там с большим почетом; венецианское правительство активно вело с ним переговоры. А тем временем его друзья, оставшиеся в городе, подготовляли низвержение аристократической партии. Когда изгнание Козимо продолжалось уже почти год, в конце августа 1434 года гонфалоньером был избран Никколо ди Кокко, и вместе с ним в сеньорию попали ещё восемь сторонников Медичи.
Ринальдо Альбицци и его партия были напуганы. Альбицци старался убедить своих сторонников, что единственный шанс на спасение — признать выборы в сеньорию недействительными, на этом основании назначить новые выборы и, уничтожив старые списки кандидатов, составить новые, из людей верных. Причём для достижения этой цели Альбицци предлагал любые методы, вплоть до вооруженного восстания. Конечно же, такой путь не устраивал многих аристократов; те считали, что это не выход, и предложенный Альбицци план требует слишком откровенного насилия, что может навлечь на партию всеобщее осуждение. Большинство сторонников Альбицци не отважились на такое опасное дело.
В результате новый состав сеньории по предложению гонфалоньера предал Ринальдо Альбицци и его партию суду. Это вынудило соратников Альбицци наконец взяться за оружие, но было уже поздно. Часть врагов была изгнана, часть казнена. В том же 1434 году Козимо Медичи был встречен во Флоренции как триумфатор, а сами жители города вышли ему навстречу за городские ворота, приветствуя как отца народа. Теперь правительство состояло из сторонников Козимо и действовало под его влиянием. Эта дата является началом правления династии Медичи во Флоренции.
Новое Флорентийское правительство заботилось о расширении торговли, промышленности и банковских оборотов своих граждан. Огромные средства, приобретенные обширными и удачными коммерческими операциями, Козимо употреблял на благо народа: за раздачу хлеба в голодный год он получил название «отца отечества»; Флоренция обязана ему весьма многими сооружениями. Стремясь сделать город центром интеллектуальной жизни Италии, столицей западной культуры, Козимо первым из Медичи начал широко покровительствовать художникам, а в особенности учёным и поэтам. Его дворец был первым крупным гуманистическим центром во Флоренции.
Став во главе государства, Козимо оставался простым гражданином, не приняв никакого титула и не изменяя республиканских форм. От тирании, вымогательств и насилий Козимо был почти совершенно свободен и пользовался своей властью для устранения внутренних смут и для руководства очень трудными отношениями с Миланом, Венецией и Неаполем. Козимо проявлял политическую дальновидность, в зачатке подавляя противников, и средства, порою употребляемые Медичи для сохранения своей власти под видом патриотизма, бывали чрезвычайно жестокими и даже преступными.
Постепенно изгнанники, враждебные Козимо, умерли, или, занявшись делами городов, в которых проживали, позабыли о давней вражде. У Козимо вроде бы не оставалось реальных врагов, правда, во Флоренции начала формироваться враждебная ему партия, вождём которой был Нери Каппони — один из командиров флорентийской армии, чрезвычайно уважаемый солдатами и заслуживший их привязанность своим мужеством и воинским искусством. Среди многочисленных командиров флорентийского войска выделялся и кондотьер Бальдаччо Ангиари, считавшийся самым сильным и храбрым человеком в Италии. Нери дружил с Бальдаччо и, опираясь на эту дружбу, начал приобретать такую силу во Флоренции, что сделался опасным для Медичи.
Козимо решил избавиться от этого военачальника, и обстоятельства ему благоприятствовали. Медичи стало известно, что Бальдаччо имел во Флоренции собственного врага, Бартоломео Орландини, обиженного резкими упреками кондотьера за трусость. Бартоломео, вне себя от стыда и ярости, лелеял планы мщения, надеясь кровью обвинителя смыть с себя позор, и Козимо Медичи удалось сделать Орландини орудием в своих руках.
В 1441 году Бальдаччо прибыл во Флоренцию для переговоров с правительством о выдаче жалованья. Бартоломео Орландини, который к тому времени был гонфалоньером, решил умертвить Бальдаччо и с этой целью собрал в своём зале большое число вооружённых людей. Когда по обыкновению Бальдаччо явился на площадь, чтобы договориться с правителями об условиях своей кондотты, гонфалоньер вызвал его к себе, и в подходящий момент дал условный сигнал убийцам: те выскочили из комнаты в галерею, умертвили безоружного кондотьера и выбросили его труп из окна дворца. Для Козимо Медичи он был больше не опасен.
Через десять лет после начала правления Медичи посчитали возможным расширить круг своих полномочий. Кроме того, Козимо Медичи считал необходимым поставить у власти своих сторонников, совершенно оттеснив политических противников. В 1441 году многие флорентийские фамилии были исключены из числа граждан, способных занимать государственные должности. Свободы флорентийцев были сильно ущемлены, а Флорентийское государство из республики по сути превратилось в синьорию.
Последние годы жизни Козимо были полны проблем и огорчений. В 1455 году разногласия возникли в самой партии Козимо, но Медичи сумел их преодолеть. Причиной недовольства сторонников Козимо было то, что он постепенно устранял их от решения важных дел, сосредотачивая в своих руках все больше власти. Были предприняты попытки пресечь эту деятельность Козимо, но его поддерживало большое количество граждан, что Медичи и использовал, чтобы усилить свой авторитет.
Всецело занятый делами государственными, Козимо склонен был оставлять без должного внимания свои собственные, и в последние годы жизни они особенно расстроились, тем более, что Медичи всецело увлёкся постройками. Незадолго до смерти Козимо настоятельно советовал своему сыну Пьеро привести в порядок дела семейной фирмы и следовать советам Диотисальви Нерони, искусного дельца, которого он считал верным другом.
Козимо для приобретения влиятельных друзей давал взаймы денег, уплаты которых не требовал, а иногда и доли в своих заграничных банкирских операциях, не требуя никакого взноса. Умер Козимо Медичи мирно в своей постели в 1464 году, похоронен в церкви Сан-Лоренцо, по правительственному указу на надгробии было начертано «Отец отечества».
В 1414 году Козимо женился на Контессине де Барди, двое детей:
Также у него был внебрачный сын Карло (1430—1492).
Как-то Козимо сказал одному из своих друзей, который жаловался на разврат и неугодные Богу деяния городских властей, что развращенный город лучше города погибшего, и что с четками в руках государства не построишь. Этот принцип доминировал в политической деятельности Козимо Медичи.
Козимо не был лишен остроумия и обаяния, его полемика с политическими оппонентами очень показательна в этом смысле. Когда Ринальдо Альбицци в начале своего изгнания велел передать ему, что «курочка несет яйца», Козимо на это ответил, что «в чужом гнезде она, пожалуй, снесет не то, что нужно». Когда же папа Пий II побуждал европейских государей объединиться и выступить против турок, он сказал о нем, что «старец делает то, что под стать молодому». Венецианские послы, по прибытию во Флоренцию, стали упрекать правительство республики; Козимо показал им свою открытую голову и спросил, какого она цвета; услышав от них, что голова у него белая, он на это сказал: «Очень скоро так же побелеют головы ваших сенаторов».