Николай Рыжков родился 28 сентября 1929 года в селе Дылеевка, Украина. После школы с 1946 года учился в Машиностроительном колледже Донбасской государственной машиностроительной академии. Получив диплом, устроился сменным мастером на Уральский машиностроительный завод имени С. Орджоникидзе, где прошел путь до заместителя директора.
С 1953 по 1959 года получал высшее образование в Уральском политехническом институте имени С.М. Кирова, по специальности инженер-механик.
Далее, Николай Иванович занимал должность главного инженера на машиностроительном предприятии «Уралмаш» города Екатеринбург, Свердловская область. Позднее возглавил компанию. До 1975 года являлся генеральным директором предприятия.
В 1975 году назначен на пост первого заместителя Министра тяжелого и транспортного машиностроения, позднее являлся первым заместителем председателя Государственного плана. Позднее вошел в состав Центрального Комитета Коммунистической Партии Советского Союза, где до 1985 года работал секретарем, затем заведовал экономическим отделом.
В 1985 году Николая Рыжкова назначили Председателем Совета Министров. Занимал пост до 1991 года. Одновременно являлся народным депутатом. Работал в составе депутатской группы коммунистов. В 1992 году в должности советника работал в Военно-промышленной инвестиционной компании. Также работал в Межбанковском расчетном центре «Тверьуниверсалбанк». До 1995 года возглавлял совет центра.
Николай Иванович в 1995 году стал главой избирательного блока «Власть — народу!». В этом же году назначен на пост президента общественного объединения «Евразия». В декабре победил на выборах в Государственную Думу. Вошел в Комитет по конверсии и наукоемким технологиям. Повторно избирался в 1999 году. Работал в составе Комитета по энергетике, транспорту и связи.
В сентябре 2003 года Николая Рыжкова избрали сенатором в Совет Федерации. Входил в состав Комитета по вопросам местного самоуправления, являлся Председателем Комиссии по естественным монополиям.
Правительством Белгородской области Николай Рыжков вновь делегирован в Совет Федерации. Наделен полномочиями с 22 октября 2012 года. Входит в состав Комитет СФ по федеративному устройству, региональной политике, местному самоуправлению и делам Севера.
Президент Российской Федерации Владимир Путин 19 сентября 2019 года подписал указ о награждении Николая Ивановича Рыжкова званием Герой Труда.
