Родился в 1962 году в Ленинграде. Окончил ленинградскую школу № 1, где совместно с Михаилом Борзыкиным (впоследствии лидером культовой рок-группы «Телевизор») создал школьный ансамбль.
В 1979 году поступил в ЛГИТМиК, на курс Аркадия Кацмана и Льва Додина, где состоялось его знакомство с Максимом Леонидовым и Николаем Фоменко.
Принимал участие в культовом спектакле «Ах, эти звезды!», где сыграл роли Демиса Руссоса и Андрея Макаревича. В 1982 году вместе с Леонидовым и Фоменко создал бит-квартет «Секрет», но покинул группу ещё до её «взлёта», уступив место Андрею Заблудовскому. Однако песни, стихи к которым написал Рубин — такие, как «Привет», «Алиса», «Именины у Кристины», «Старый ковбой» и многие другие остаются в репертуаре группы.
Покинув «Секрет» в 1983 году (на какое-то время перейдя в «Интеграл» к Бари Алибасову), Рубин отверг предложение работать в театре, и продолжил сочинительство. В том же году закончил ЛГИТМиК.
Среди соавторов Дмитрия Рубина — Максим Леонидов, Андрей Иванов, Игорь Корнелюк, Бари Алибасов и другие. Песни на стихи Рубина звучали в исполнении Аллы Пугачёвой, Татьяны Булановой, Михаила Боярского, Максима Леонидова, Сергея Рогожина, групп «На-На», «Интеграл», «Кафе», «Колибри» и многих других артистов. В общей сложности, Рубин является автором или соавтором более чем 300 песен.
Автор стихов мюзикла «Кентервильское привидение».
Кроме того, Рубин выступает сольно, а в 2007 году создал собственный музыкальный коллектив.
Помимо музыки, работает как сценарист, сотрудничает с рядом российских киностудий. Написал сценарии для сериалов «Улицы разбитых фонарей», «Бандитский Петербург (Голландский пассаж)», «Морские дьяволы», «Роковое сходство», «Дорожный патруль».