Родился в 23 г. в Комо (лат. Comum) (Цизальпийская Галлия). Образование получил, по-видимому, в Риме; но об этом не сообщают никаких сведений ни краткая его биография, написанная Светонием, ни письма его племянника, составляющие главный источник биографических данных о Плинии.
В юности он служил в коннице, участвуя в разных походах, в т. ч. против хавков — германского народа, описанного им в начале XVI книги его «Естественной истории».
Побывал он и на Дунае (XXXI, 19, 25), и в Бельгии (VII, 17, 76), где тогда был прокуратором римский всадник Корнелий Тацит, отец или дядя знаменитого историка. Продолжительное пребывание в заальпийских странах дало ему возможность собрать о них немало сведений и написать большое сочинение о войнах римлян с германцами (лат. Bellorum Germaniae lib. XX), послужившее главным источником Тациту для его «Германии». Впоследствии он был прокуратором в Нарбонской Галлии и в Испании. Близость его к Веспасиану, с сыном которого Титом он вместе служил в Германии, выдвинула его на один из важнейших постов государственной службы: он был назначен начальником мизенского флота.
Во время пребывания Плиния старшего в этой должности произошло известное извержение Везувия 24 августа 79 г., чтобы лучше наблюдать грозное явление природы, Плиний старший подошёл на судне слишком близко к месту катастрофы, и в Стабиях уже на суше пал жертвой своей любознательности и стремления помочь людям, отравившись серными испарениями. Подробности этого события изложены его племянником, Плинием Младшим, в длинном письме к Тациту (Epist. VI,16).
Плиний был человек необыкновенного трудолюбия. Не было такого места, которое бы он считал неудобным для учёных занятий; не было такого времени, которым бы он не воспользовался для того, чтобы читать и делать заметки. Он читал, или ему читали в дороге, в бане, за обедом, после обеда, причём отнималось время и у сна, насколько это было возможно, так как он считал потерянным всякий час, не посвящённый умственным занятиям. Читались всякие книги, даже и плохие, так как, по мнению Плиния Старшего, нет столь дурной книги, из которой нельзя было бы извлечь какой-либо пользы.
Подробности об этом трудолюбии сообщает Плиний Младший, в одном из своих писем (Epist. III, 5), в котором перечисляет и ряд сочинений дяди: «De jaculatione equestri» (О кавалерийском метании), «De vita Pomponii Secundi» (Биография Помпония Секунда), три книги риторических сочинений (Studiosi III), восемь книг грамматического содержания («Dubii Sermonis», VIII), тридцать одна книга истории, начинавшейся с того пункта, где кончил свою историю Ауфидий Басс, вышеупомянутое сочинение о Германии и, наконец, тридцать семь книг «Естественной истории» («Naturalis Historiae» XXXVII). Кроме того, после смерти его осталось сто шестьдесят книг мельчайшего письма с выписками или заметками, какие он делал при чтении.