Родился в семье инженера Петра Яковлевича Девитте, потомка выходцев из Нидерландов. Детство провёл в Санкт-Петербурге, уже в возрасте 6-7 лет обнаружив огромные способности, особенно в музыке и поэзии. Его учителями были пианист Джон Филд, скрипач Гаврила Рачинский, композитор Катерино Кавос, арфист Карл Шульц, художник М.И. Теребенев. К 11 годам Девитте уже свободно сочинял стихи, виртуозно играл на арфе, приглашался в салоны, в том числе «Беседу любителей русского слова». В 1822 году был записан в Пажеский корпус, где формально числился до 1827 года.
В 1823 году семья Девитте переехала обратно в Москву, где Девитте вскоре становится завсегдатаем салона княгини Волконской (где знакомится с Пушкиным), выступает в Благородном собрании, стремительно завоёвывает известность. С 1826 года в обеих столицах выходят его музыкальные сочинения: романсы, кадрили, полонезы, мазурки, вальсы; популярность приобретают написанные им романсы на стихи собственного сочинения. Из-за того, что профессиональные занятия музыкой не считались подобающими дворянину, Девитте публиковал подавляющее большинство сочинений анонимно, либо издавал их под именами друзей и знакомых. Одновременно он пытался найти «достойную» его положения должность. Сначала его покровитель, генерал-губернатор Москвы Д.В. Голицын, пристроил его в свое ведомство, потом Девитте попал в Министерство иностранных дел, а в 1831 году окончательно осел переводчиком в московском архиве министерства, где к 1843 году дослужился всего лишь до коллежского секретаря. В эти годы он был склонен к эксцентрическим поступкам, долговременному уединению, самозабвенной, в ущерб карьере и личной жизни, работе над музыкой и стихами.
Девитте с 1837 года планировал отправиться за границу с гастролями. Летом 1843 года он наконец отправился в Ирландию, где его концерты для арфы были встречены с восхищением. Весной 1844 года Девитте дал концерты в Лондоне, также удостоившиеся триумфа. 20 апреля, всё ещё находясь в британской столице, он неожиданно и скоропостижно скончался, не дожив до 33 лет. После смерти как поэтические, так и музыкальные произведения Девитте были надолго забыты; интерес к его творчеству снова возникает только в конце XX века.
Ряд исследователей приписывают ему авторство сказки «Конёк-Горбунок».
Из музыкальных произведений Девитте в настоящее время более всего известен романс " Не для меня придёт весна", на стихи А. Молчанова, написанные им в 1838 г. Девитте положил их на музыку в самом начале 1840- гг.