Иван Павлович Бардин родился 10 ноября 1883 года в портного селе Широкий Уступ Аткарского уезда Саратовской губернии. Его рождение было зарегистрировано 13 ноября православной церковью. Он был сыном Павла Дмитриевича Бардина и Дарьи Михайловны (девичья фамилия – Бородачёва). Иван перенёс тяжелое заболевание холерой в детстве, и часть его семьи умерла во время эпидемии.
Иван получил начальное и среднее образование в ремесленных и земледельческих училищах. В 1902 году, после окончания земледельческого училища, по рекомендации родственников, поступил в Ново-Александрийский институт сельского хозяйства и лесоводства. Однако его исключили за участие в революционном студенческом движении 1905 года. Затем, в 1906 году, поступил в Киевский политехнический институт, где специализировался по металлургии чугуна и стали под руководством профессора Василия Ижевского.
В 1912 году Иван встретился с выдающимся доменщиком Михаилом Курако, что стало решающим моментом в его жизни. Бардин работал на различных металлургических заводах в США и России, прежде чем в 1929 году стать главным инженером и руководителем строительства Кузнецкстроя. Вместе с Курако, он осуществил масштабное строительство завода, значительно расширив его промышленную площадку и увеличив производство.
Иван Павлович Бардин также активно участвовал в научной деятельности и руководил различными научными учреждениями. С 1939 по 1960 годы он был директором Института металлургии Академии наук СССР. Он также преподавал в Московском институте стали и сплавов имени И. В. Сталина и руководил кафедрой экономики и организации металлургического производства. Он был вице-президентом Академии наук СССР и председателем советского комитета по проведению Международного геофизического года с 1955 года.
Усыновил 11 детей.
7 января 1960 года на заседании в Госплане СССР у Бардина после доклада внезапно остановилось сердце. Похоронен на Новодевичьем кладбище (участок № 1).