Депутат Государственной Думы второго (1995—1999), третьего (1999—2003), четвёртого (2003—2007), пятого (2007—2011) и шестого (с 2011) созывов, член фракции КПРФ.
Родился 7 августа 1950 года в городе Богородицке Тульской области. В 1972 году окончил механико-математический факультет Московского государственного университета им. М. В. Ломоносова (МГУ), специальность — математик. Окончил аспирантуру механико-математического факультета. Был секретарем парткома мехмата. В 70-е — 80 е годы занимал ответственные посты в приёмной комиссии для абитуриентов на вступительных экзаменах в МГУ. С 1986 по 1988 год — председатель объединённого профсоюзного комитета МГУ. С 1988 по 1991 год — секретарь парткома МГУ. В 1991 году стал доцентом МГУ.
В 1990 году входил в секретариат ЦК КПСС. Начиная с 1991 года принимал участие в создании и становлении Коммунистической партии Российской Федерации (КПРФ), в 1993 году был избран в ЦИК КПРФ, с 1995 года — секретарь, член президиума и председатель комиссии по международным связям ЦК КПРФ, с 1997 года — заместитель председателя ЦК КПРФ (по идеологии). С 2004 года — первый заместитель председателя ЦК КПРФ.
В 1995 году избран депутатом Государственной Думы второго созыва по списку КПРФ. В Госдуме работал начальником комитета по образованию и науке. В 1997 году назначен председателем комиссии по науке и технологиям ПАСЕ. В 1999 году избран депутатом Государственной Думы третьего созыва по списку КПРФ. С марта 1999 года до сентября 2002 года входил в состав коллегии Министерства образования РФ. Участвовал в разработке законопроекта «О государственном стандарте основного общего образования».
В 2002 году по инициативе центристских фракций снят с поста председателя комитета Государственной Думы по образованию и науке. Возглавлял предвыборный штаб КПРФ накануне думских выборов 2003 года. 7 декабря 2003 года избран депутатом Государственной Думы четвёртого созыва. Вошёл в состав фракции КПРФ. В Госдуме был членом комитета по образованию и науке.
В 2004 году Зюганов назвал Мельникова одним из возможных преемников на посту лидера партии.
В 2005 году возглавил список КПРФ на выборах в Московскую городскую думу.
С 2007 года — депутат Государственной думы России пятого созыва, возглавлял избирательный список КПРФ по городу Москве. 24 декабря 2007 года избран заместителем председателя Государственной думы.
Имеет учёную степень кандидата физико-математических наук и доктора педагогических наук. Кандидатская диссертация называлась «Смешанная задача для гиперболического уравнения второго порядка в областях с нерегулярной границей». Докторская диссертация называлась «Научно-методические основы взаимодействия школьного и вузовского математического образования в России». Награждён орденом «Знак Почёта» и знаком «Отличник народного просвещения». Профессор механико-математического факультета МГУ, заведует кабинетом методики преподавания математики Московского университета. В 1997—1999 гг. был председателем Комиссии по науке и технологиям Парламентской ассамблеи Совета Европы.
21 декабря 2011 года назначен на учреждённую должность первого заместителя Государственной думы Федерального Собрания Российской Федерации VI созыва.
Вдовец, имеет дочь и двоих сыновей. Сын Иван (род. 1976), на данный момент является президентом МФК КПРФ.