Николай Фёдоров родился 7 июня 1829 года в селе Ключи Тамбовской губернии. Как внебрачный сын князя Павла Ивановича Гагарина он получил фамилию крёстного отца. В 1849 г. по окончании гимназии в Тамбове поступил на юридический факультет Ришельевского лицея в Одессе, проучился там три года, затем был вынужден оставить лицей ввиду смерти дяди Константина Ивановича Гагарина, платившего за обучение. Работал преподавателем истории и географии в уездных городах среднерусской полосы.
В середине 60-х годов познакомился с Николаем Павловичем Петерсоном, одним из преподавателей в яснополянской школе Л. Н. Толстого. Из-за знакомства с Петерсоном был арестован по делу Дмитрия Каракозова, но через три недели освобождён.
Летом 1867 года Фёдоров оставил Боровское уездное училище, где он преподавал, и пешком отправился в Москву. В 1869 г. устроился помощником библиотекаря в Чертковской библиотеке, а с 1874 г. в течение 25 лет работал библиотекарем Румянцевского музея, в последние годы жизни — в читальном зале Московского архива Министерства иностранных дел. В Румянцевском музее Фёдоров первым составил систематический каталог книг. Там же после трёх часов дня (время закрытия музея) и по воскресеньям был дискуссионный клуб, который посещали многие выдающиеся современники.
Фёдоров вёл аскетическую жизнь, старался не владеть никаким имуществом, значительную часть жалования раздавал своим «стипендиатам», от прибавок к жалованию отказывался, всегда ходил пешком. Фёдоров обладал хорошим здоровьем, но в 1903 г. в сильный декабрьский мороз друзья уговорили его надеть шубу и поехать в экипаже, он заболел воспалением лёгких, и от этого умер.
Похоронен Николай Фёдорович Фёдоров был на кладбище Скорбященского монастыря.
Фёдоров отказывался фотографироваться и не позволял нарисовать свой портрет. Единственное изображение Фёдорова было нарисовано тайком Л. О. Пастернаком.