Родился в семье инженера. В 1920—1924 годах учился в Екатерининском техникуме путей сообщения (ныне Днепропетровский техникум путей сообщения). С 1924 года работал помощником машиниста паровоза.
В 1930 году окончил Днепропетровский металлургический институт и начал работать на Днепропетровском металлургическом и трубопрокатном заводе имени В. И. Ленина инженером. С 1933 года был заместителем начальника цеха, с января 1938 года — начальником цеха, а с января 1940 года — главным инженером. В конце 1930-х годов познакомился с Л. И. Брежневым. В сентябре 1940 года вступил в ВКП(б).
С сентября 1941 года занимал должность главного инженера Новотрубного завода в Первоуральске Свердловской области. С июля 1947 года по декабрь 1950 года был директором Южно-трубного металлургического завода в Никополе. В 1943 году вместе с коллективом завода, удостоенным Сталинской премии, передал денежные средства в количестве 100 000 рублей в Фонд обороны.
С декабря 1950 года стал начальником Главного управления трубной промышленности Министерства чёрной металлургии СССР. С сентября 1955 года занимал пост заместителя министра чёрной металлургии СССР, отвечая за трубную промышленность. В 1957—1960 годах был председателем Днепропетровского совнархоза. В 1959 году входил в состав советской делегации, возглавляемой Первым секретарём ЦК КПСС Н. С. Хрущёвым, которая совершила первый официальный визит в США. В 1960 году стал заместителем председателя Государственного научно-экономического совета Совета министров СССР.
На XXII съезде партии в 1961 году был избран кандидатом в члены ЦК КПСС. С 1963 по 1965 год занимал пост заместителя председателя Госплана СССР.
После прихода к власти Брежнева начался быстрый карьерный рост Тихонова. В 1965 году он был назначен заместителем председателя Совета министров СССР, в 1966 году стал членом ЦК КПСС. В 1975 году ему было присвоено звание Героя Социалистического Труда. В 1976 году Тихонов стал первым заместителем председателя Совета министров, и поскольку председатель Совета министров А. Н. Косыгин в последние годы пребывания на этом посту по состоянию здоровья нередко отходил от дел, Тихонову приходилось исполнять его обязанности. 27 ноября 1978 года он был избран кандидатом в члены Политбюро ЦК КПСС, а 27 ноября 1979 года переведён из кандидатов в члены Политбюро.
«Как получил трёхкомнатную квартиру, когда был зампредом, так и жил в ней с женой до самой смерти. Детей у них не было, и жили они очень скромно. Ему, как бывшему премьеру, оставили дачу, охрану, назначили персональную пенсию. Никаких сбережений у Тихонова не оказалось. Когда он работал в правительстве, все свои деньги они с женой тратили на покупку автобусов, которые дарили пионерлагерям и школам. После ликвидации СССР персональную пенсию отменили, и Николай Александрович получал обычную пенсию по старости. И ребята из охраны скидывались, чтобы купить ему фрукты»
— Михаил Смиртюков,
23 октября 1980 года Верховный Совет СССР утвердил Тихонова в должности председателя Совета министров. В 1982 году он получил вторую Золотую Звезду Героя Социалистического Труда.
Тихонов был хозяйственником-практиком, не интересовавшимся политическими вопросами и чуждым интриг. Он был в меру прямолинейным, но осторожным и лично безупречно честным. Не являлся бессловесным исполнителем высшей воли и не стеснялся критиковать Косыгина и Брежнева по отдельным вопросам. Настаивал на соблюдении строгого порядка решения вопросов и выступал против «телефонного права».
Однако Тихонов не был способен к самостоятельной деятельности государственного масштаба; в отличие от Косыгина, он не имел собственной экономической программы. Кадровая политика при нём не претерпела существенных изменений. За пять лет его премьерства ушла из жизни значительная часть Политбюро, и сменились четыре генсека. Тихонов сохранил свой пост при Андропове и Черненко, но 80-летний Тихонов покинул его через несколько месяцев после прихода к власти Горбачёва. Он поддержал избрание Горбачёва на пост генсека, несмотря на постоянные разногласия с ним в годы правления Андропова и Черненко.
27 сентября 1985 года Николай Александрович Тихонов был официально освобождён от обязанностей Председателя Совета Министров СССР «по состоянию здоровья» (атеросклероз мозговых сосудов). Новым Председателем Совета Министров СССР был назначен значительно более молодой Николай Рыжков. 15 октября 1985 года Пленум ЦК КПСС вывел его из членов Политбюро ЦК КПСС. В 1986—1988 годах Тихонов был государственным советником при Президиуме Верховного Совета СССР. С 1988 года был персональным пенсионером союзного значения.
Скончался 1 июня 1997 года. Могила Тихонова находится на Новодевичьем кладбище в Москве.