Родившийся 5 декабря 1895 года в селе Кирьяниха, которое расположено в ныне Кинешемском районе Ивановской области, этот человек, русского происхождения, проживал в городе Кинешма. Свое образование получил в реальной школе, ныне известной как школа № 4.после окончания школы он начал работать в нотариальной конторе.
В мае 1915 года он начал службу в Российской императорской армии. Сначала он служил в рядовом звании в 89-м запасном батальоне в Шуи, а затем в 88-м запасном батальоне в Костроме. В августе 1916 года его перевели в команду, которая готовила будущих прапорщиков, и в марте 1917 года он успешно окончил 1-ю Киевскую школу прапорщиков.
Во время Первой мировой войны он участвовал в качестве прапорщика в качестве младшего офицера роты и начальника учебной группы в 199-м запасном пехотном полку. После этого он перешел в Красную Армию с 6 декабря 1918 года и стал участником Гражданской войны. Первоначально он был отправлен в 19-ю стрелковую дивизию 7-й армии Северного фронта, где служил на различных должностях, включая командира взвода, адъютанта и командира батальона 165-го стрелкового полка. В этом полку он служил на границе с Финляндией между Ладожским и Онежским озерами, вел бои против белофинов и позже столкнулся с английскими интервентами. В 1919 году он участвовал в обороне Петрограда и в боях при Ямбурге против белой Северо-Западной армии под командованием генерала Н. Н. Юденича.
В августе 1919 года его полк был переведен в состав 55-й стрелковой дивизии, и Рыжов продолжил службу в обороне Петрограда в районе Сестрорецка и Терийоки. С августа 1920 года он стал помощником командира 165-го стрелкового полка по боевой части и был отправлен на Западный фронт, где участвовал в Советско-польской войне на брестском направлении. С января 1921 года он был командиром роты в 487-м стрелковом полку 55-й отдельной стрелковой бригады на Южном фронте и боролся с бандитизмом на Украине.
В 1921 году он продолжал служить в том же полку и стал его командиром батальона. В августе 1921 года он был переведен в 24-ю стрелковую дивизию украинского военного округа, где стал помощником командира по боевой части 214-го стрелкового полка, а с июля 1922 года возглавил батальон 72-го стрелкового полка. С октября 1927 года он стал помощником командира 71-го стрелкового полка по материально-техническому обеспечению. В это же время, с мая 1923 по июнь 1924 года, он учился на высших повторных курсах старшего комсостава в Харькове. С ноября 1931 года он был начальником военного хозяйства 23-й стрелковой дивизии в том же военном округе.
В начале войны, генерал-майор Рыжов оставался комендантом Рыбницкого укрепленного района, который в составе 9-й армии Южного фронта участвовал в пограничных столкновениях в Молдавии и в Тираспольско-Мелитопольской оборонительной операции. Августа УР (укрепленный Район) был преобразован в отдельный пулеметно-артиллерийский бригаду, а генерал-майор Рыжов 2 сентября 1941 года назначен командиром 296-й стрелковой дивизии 9-й армии. Проявив хорошие командные качества в сложной обстановке донбасско-Ростовской оборонительной операции, а также В Ростовской и Барвенково-Лозовской наступательных операциях.
Был выдвинут на повышение, и в феврале 1942 года он был назначен заместителем командира 3-го гвардейского стрелкового корпуса, а в мае стал командиром этого корпуса в 56-й армии Южного фронта. Он участвовал в Воронежско-Ворошиловградской оборонительной операции. С 1 июля 1942 года он командовал войсками 56-й армии Южного фронта, которую вскори передали на Сиверо-Кавказский фронт. Во время Донбасской оборонительной операции в июле 1942 года армия была оттеснена противником от Таганрога до Ростова-на-Дону, не в состоянии взять Ростовский оборонительный район под давлением преслидующих войск противника и потеряла Ростов. В начавшейся практически без паузы битве за Кавказ войска 56-й армии участвовали в Армавиро-Майкопской операции и были вынуждены отступить на 100-120 километров, покидая Краснодар. Однако к 17 августа они смогли остановить наступление против войск противника и создать устойчивую оборону в северных предгорьях Кавказа.
С 5 января 1943 года Рыжов командовал 18-й армией Черноморской группы войск Закавказского фронта, которая наступала во время Северо-Кавказской и Краснодарской наступательных операций. 11 февраля его назначили командующим 46-й армией, которая продолжала краснодарскую операцию и за месяц боев продвинулась на 110 километров. В марте 1943 года армию вывели в резерв, и генерал Рыжов был назначен командующим 47-й армией, которая выводилась в резерв Генштаба ВГК и вскоре начала переброску в состав Степного военного округа. Там армия активно готовилась к приближающемуся Курскому сражению, строя несколько оборонительных линий, пополняя войска и проводя боевую подготовку. С 9 июля 1943 года армия вошла в состав Степного фронта и участвовала в Курской битве и в Белгородско-Харьковской наступательной операции.
С января 1944 года он стал заместителем командующего 4-й гвардейской армией 2-го Украинского фронта, где участвовал в освобождении Правобережной Украины, включая Кировоградскую и Корсунь-Шевченковскую наступательные операции.
28 марта 1944 года генерал-майор Александр Иванович Рыжов был назначен командующим 70-й армией 2-го Белорусского фронта. Однако, несмотря на свой опыт и усилия, армия, которая находилась в сложном состоянии во время его назначения в Полесской наступательной операции, попала под контрудары немецких войск и была отстранена от окруженного Ковеля. Рыжов, принявший командование армией в этот сложный момент, смог быстро организовать оборону, но контратака на Ковель не удалась из-за поспешности и недостаточной подготовки. Фронт был ликвидирован, и Рыжов вместе с несколькими другими командирами понизился в звании. 27 мая 1944 года генерал-майор Рыжов был уволен с должности командующего армией.
Однако Рыжов не желал оставаться без дела в резерве, поэтому он просил назначить его на любую доступную командную должность. В июле 1944 года он был назначен командиром 28-го гвардейского стрелкового корпуса 8-й гвардейской армии 1-го Белорусского фронта. Рыжов успешно руководил действиями корпуса во многих операциях, включая Люблин-Брестскую операцию (где корпус первым прорвался к Люблину и получил почетное название «Люблинский»), а также в Висло-Одерской операции и боевых действиях по содержанию и расширению плацдарма в районе Кюстрина. Рыжов продолжал командовать корпусом до конца войны.
Во время Висло-Одерской операции с 14 по 27 января 1945 года части корпуса генерал-лейтенанта А. И. Рыжова прорвали глубоко укрепленную оборону противника на левом берегу реки Висла, форсировали реку Варта и продолжили двигаться на запад более чем на 300 километров, освободив сотни населенных пунктов.
За умелое руководство объединениями корпуса при прорыве обороны противника на левом берегу реки Висла и форсировании реки Варта (Польша) и проявленное при этом личное мужество и героизм указом Президиума Верховного Совета РССР от 6 апреля 1945 года генерал-лейтенанту Рыжову Александру Ивановичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5164).
В течение войны Рыжов был шесть раз упомянут в благодарственных приказах Верховного Главнокомандующего.
После войны он продолжал командовать 28-м гвардейским стрелковым корпусом. С апреля 1949 года и до своей смерти он был командующим 3-й ударной армией в Группе Советских войск в Германии.
Скончался 14 декабря 1950 года. Похоронен в Москве на Новодевичьем кладбище.
