Родился 5 декабря 1895 года в деревне Кирьяниха, которая находится в ныне Кинешемском районе Ивановской области. Русский по национальности, он проживал в городе Кинешма. Своё образование получил в реальной учебной школе, которая сегодня известна как школа № 4. После окончания училища, он начал работать в нотариальной конторе.
В мае 1915 года он начал свою службу в Русской императорской армии. Сначала он служил в рядовом звании в 89-м запасном батальоне в Шуе, а затем в 88-м запасном батальоне в Костроме. В августе 1916 года его перевели в команду, где готовили будущих прапорщиков, и в марте 1917 года он успешно окончил 1-ю Киевскую школу прапорщиков.
Во время Первой мировой войны он сражался в звании прапорщика как младший офицер роты и начальник учебной команды в 199-м запасном пехотном полку. После этого он перешёл в Красную Армию с 6 декабря 1918 года и стал участником Гражданской войны. Сначала его направили в 19-ю стрелковую дивизию 7-й армии Северного фронта, где он служил в различных должностях, включая командира взвода, адъютанта и командира батальона 165-го стрелкового полка. В этом полку он выполнял службу на границе с Финляндией между Ладожским и Онежским озерами, вел бои против белофиннов и позже столкнулся с английскими интервентами. В 1919 году он принимал участие в обороне Петрограда и в сражениях под Ямбургом против белой Северо-Западной армии под командованием генерала Н. Н. Юденича.
В августе 1919 года его полк был переведен в состав 55-й стрелковой дивизии, и Рыжов продолжал служить в обороне Петрограда в районе Сестрорецка и Терийоки. С августа 1920 года он стал помощником командира 165-го стрелкового полка по строевой части и был отправлен на Западный фронт, где участвовал в советско-польской войне на брестском направлении. С января 1921 года он был командиром роты в 487-м стрелковом полку 55-й отдельной стрелковой бригады на Южном фронте и боролся с бандитизмом на Украине.
В 1921 году он продолжал служить в том же полку и стал его командиром батальона. В августе 1921 года его перевели в 24-ю стрелковую дивизию Украинского военного округа, где он стал помощником командира по строевой части 214-го стрелкового полка, а с июля 1922 года он возглавил батальон 72-го стрелкового полка. С октября 1927 года он стал помощником командира 71-го стрелкового полка по материально-техническому обеспечению. В это же время, с мая 1923 по июнь 1924 года, он учился на Высших повторных курсах старшего комсостава в Харькове. С ноября 1931 года он был начальником военного хозяйства 23-й стрелковой дивизии в том же военном округе.
Он успешно закончил 2 курса Военной академии РККА имени М. В. Фрунзе в 1935 году. С 17 мая 1935 года он стал командиром 184-го стрелкового полка 62-й стрелковой дивизии Киевского военного округа. С марта 1938 по ноябрь 1939 года он выполнял обязанности помощника командира 95-й стрелковой дивизии в этом округе. Затем его снова направили на учебу на курсы усовершенствования начальствующего состава при Академии Генерального штаба РККА, которые он успешно окончил в 1940 году. С апреля 1940 года он занимал должность коменданта 80-го Рыбницкого укрепленного района в Одесском военном округе.
С 1939 года член ВКП(б).
В начале войны, генерал-майор Рыжов оставался комендантом Рыбницкого укрепленного района, который в составе 9-й армии Южного фронта участвовал в приграничных сражениях в Молдавии и в Тираспольско-Мелитопольской оборонительной операции. В начале августа УР (Укрепленный Район) был преобразован в отдельную пулеметно-артиллерийскую бригаду, а генерал-майор Рыжов 2 сентября 1941 года вступил в должность командира 296-й стрелковой дивизии 9-й армии. Проявил хорошие командирские качества в сложнейшей обстановке Донбасско-Ростовской оборонительной операции, а затем и в Ростовской и в Барвенково-Лозовской наступательных операциях.
Был выдвинут на повышение и в феврале 1942 года назначен заместителем командира 3-го гвардейского стрелкового корпуса, а в мае стал командиром этого корпуса в 56-й армии Южного фронта. Участвовал в Воронежско-Ворошиловградской оборонительной операции. С 1 июля 1942 года он командовал войсками 56-й армии Южного фронта, которая вскоре была передана на Северо-Кавказский фронт. В Донбасской оборонительной операции в июле 1942 года армия была оттеснена противником от Таганрога к Ростову-на-Дону, не смогла под давлением преследовавших войск противника своевременно занять Ростовский оборонительный район и потеряла Ростов. В начавшейся практически без паузы битве за Кавказ войска 56-й армии участвовали в Армавиро-Майкопской операции и были вынуждены отойти на 100-120 километров, оставив Краснодар. Однако к 17 августа им удалось остановить наступление немецких войск и создать устойчивую оборону в северных предгорьях Кавказа.
С 5 января 1943 года Рыжов командовал 18-й армией Черноморской группы войск Закавказского фронта, которая наступала в ходе Северо-Кавказской и Краснодарской наступательных операций. 11 февраля он был переведен на должность командующего 46-й армией, продолжавшей Краснодарскую операцию и за месяц боев продвинулась на 110 километров. В марте 1943 года армия была выведена в резерв, и генерал Рыжов был назначен командующим 47-й армией, которая выводилась в резерв Ставки ВГК и вскоре начала переброску в состав Степного военного округа. Там армия активно готовилась к предстоящей Курской битве, строила несколько рубежей обороны, пополнялась и вела боевую подготовку. 9 июля 1943 года армия вошла в состав Степного фронта и участвовала в Курской битве и в Белгородско-Харьковской наступательной операции. Но там по каким-то причинам Рыжов не сработался с командующим фронтом И. С. Коневым и, имея более чем годичный опыт командования армиями в самой сложной обстановке, был 28 июля понижен до заместителя командующего 37-й армией этого фронта. В этой армии он участвовал в битве за Днепр и в Нижнеднепровской операции на криворожском направлении. С января 1944 года он стал заместителем командующего 4-й гвардейской армией 2-го Украинского фронта, где участвовал в освобождении Правобережной Украины, включая Кировоградскую и Корсунь-Шевченковскую наступательные операции.
28 марта 1944 года генерал-майор Александр Иванович Рыжов был назначен командующим 70-й армией 2-го Белорусского фронта. Но несмотря на свой опыт и усилия, армия, находившаяся во время его назначения в Полесской наступательной операции, подверглась немецким контрударам и была оттеснена от окруженного Ковеля. Рыжов, принявший командование армией в сложный момент, смог быстро организовать оборону, но ответный удар к Ковелю не удался из-за поспешности и неподготовленности. Фронт был расформирован, и Рыжов вместе с рядом других командиров был понижен в должности. 27 мая 1944 года генерал-майор Рыжов был снят с должности командующего армией.
Однако Рыжов не желал оставаться без дела в резерве, поэтому он попросил назначить его на любую доступную командную должность. В июле 1944 года его назначили командиром 28-го гвардейского стрелкового корпуса в 8-й гвардейской армии 1-го Белорусского фронта. Рыжов успешно руководил действиями корпуса во многих операциях, включая Люблин-Брестскую операцию (где корпус первым ворвался в Люблин и получил почетное наименование «Люблинский»), а также в Висло-Одерской операции и боевых действиях по удержанию и расширению плацдарма в районе Кюстрина. Рыжов продолжал командовать корпусом до конца войны.
Во время Висло-Одерской операции с 14 по 27 января 1945 года части корпуса генерал-лейтенанта А. И. Рыжова прорвали глубоко укрепленную оборону противника на левом берегу реки Висла, форсировали реку Варта и продвинулись на запад на более чем 300 километров, освободив сотни населенных пунктов.
За умелое руководство соединениями корпуса при прорыве обороны противника на левом берегу реки Висла и форсировании реки Варта (Польша) и проявленные при этом личное мужество и героизм указом Президиума Верховного Совета СССР от 6 апреля 1945 года генерал-лейтенанту Рыжову Александру Ивановичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 5164).
За время войны Рыжов был шесть раз упомянут в благодарственных приказах Верховного Главнокомандующего.
После войны продолжал командовать 28-м гвардейским стрелковым корпусом. С апреля 1949 года до своей кончины — командующий 3-й ударной армией в Группе советских оккупационных войск в Германии.
Скончался 14 декабря 1950 года. Похоронен в Москве на Новодевичьем кладбище.