Масаки Кобаяси родился 14 февраля 1916 года в Хоккайдо. В юношестве учился в университете Васэда на философском отделении литературного факультета. В это время Масаки очень интересовался искусством стран Азии и Греции. В январе 1942 года Масаки был призван в армию, где служил в Маньчжурии. Масаки отказывался от всех повышений по службе, мотивируя этот отказ протестом против войны и её разрушений. В итоге Масаки так и остался рядовым. В ноябре 1946 года Масаки заканчивает военную службу и возвращается к своей работе в компании Сё:тику (??). В 1947 году Кобаяси становится ассистентом режиссёра Кэйсукэ Киноситы, оказавшим на него некоторое влияние и ставшим для него своего рода наставником, а также пробует свои силы в киносценарии. Впоследствии Масаки основал вместе с Кобо Абэ собственную киностудию Син-эй-про.
Первым самостоятельным фильмом Масаки Кобаяси как режиссёра стала драма «Юность сына». Следующим фильмом стал «Искренность» о любви подростка, на котором в качестве сценариста выступил Кэйсукэ Киносита. Однако Кобаяси хотел идти дальше и снимать другое кино, в результате этого он уходит из «Сётику» и вместе с писателем Кобо Абэ основывает «Син-эй-про», первым фильмом на котором стал «За толстой стеной». Сценарий был написан Кобо Абэ при участии Кобаяси. Фильм посвящён военной тематике, точнее военным преступникам, которые из-за того, что выполняли приказ, стали преступниками, а их непосредственные начальники «вышли сухими из воды». Однако фильм не выходил на экраны три года из-за своего антиамериканизма.
Раньше этого фильма, в 1956 году, выходит «Я вас покупаю», рассказывающий о молодом бейсболисте, одержимом жаждой наживы: он приносит в жертву всё, даже личные отношения, ради денег. В итоге он оказывается победителем. В фильме «Чёрная река» Кобаяси опять возвращается к военной тематике. На этот раз он рассказывает историю о коррупции в военных американских базах, которые притягивали к себе различных воров, проституток и азартных игроков. Самым монументальным фильмом Кобаяси стал фильм Условия человеческого существования — экранизация одноимённого романа Дзюмпэя Гомикавы. Экранизация представляла собой трилогию, каждая часть из которой длилась около 3 часов. Фильм рассказывает о пацифисте Кадзи, который был насильно завербован в армию и заставлен убивать китайцев, беспрекословно подчиняясь начальству. Кобаяси хотел показать, как война меняет человека, при этом сам режиссёр неоднократно сравнивал главного героя Кадзи, которого сыграл Тацуя Накадай, с собой во время службы в армии.
В 1962 году выходит чёрно-белый фильм Харакири, рассказывающий историю самурая, который продал свой меч, чтобы помочь семье. Разорившись, самурай по традиции должен совершить харакири, однако меч продан, и ему приходится совершить харакири бамбуковым мечом. За этот позор начинает мстить тесть умершего, однако тоже погибает. Фильм получил специальный приз жюри на кинофестивале в Каннах. В 1965 году выходит единственная работа режиссёра, лишённая социальных мотивов — Кайдан (фильм известен также под названием Повесть о привидениях), экранизация четырёх произведений Лафкадио Хирна. Кроме того, впервые для режиссёра фильм снимался в цвете и полностью в студии. Особое значение для фильма имели цвет и музыка (композитор Тору Такэмицу). Каждый из эпизодов фильма обладал своим доминирующим цветом. Фильм был удостоен специального приза жюри на Каннском кинофестивале в 1965 году.
Кобаяси обращался и к телевидению, хотя не любил снимать в этом формате. Известен его телесериал «Окаменелость», также вышедший в киноверсии. Сюжет сериала повествует о неизлечимо больном предпринимателе, путешествующем по Европе. Особый акцент делается на внутренних переживаниях главного персонажа. В 1983 году выходит документальный фильм «Токийский суд», содержащий документальные кадры Токийского процесса, хронику войны в Маньчжурии, а также кадры Потсдамской конференции. Последним фильмом Кобаяси стал «Дом без еды», затрагивающий проблемы терроризма.