В Гражданскую войну А.А. Гречко с декабря 1919 г. красноармейцем в составе 11-й кавалерийской дивизии 1-й конной армии, с февраля 1920 г. в отряде им. М.В. Кривошлыкова воевал против войск генерала А.И. Деникина на Южном фронте, вооруженных формирований Н.И. Махно и банд Маруси на Украине. Затем на Кавказском фронте участвовал в освобождении Северного Кавказа.
После войны с сентября 1921 г. служил в батальоне ЧОН в г. Таганрог. С июля 1922 г. учился сначала на Крымских кавалерийских курсах им. ВЦИК, затем с августа 1923 г. — в Таганрогской кавалерийской школе СКВО. В сентябре 1924 г. А.А. Гречко был переведен в Северо-Кавказскую горских национальностей кавалерийскую школу, где был курсантом и старшиной эскадрона. В ее составе в 1925 г. участвовал в подавлении бандформирований в Чечне, в 1926 г. — в Дагестане.
После окончания обучения в сентябре 1926 г. проходил службу в 1-й отдельной кавалерийской бригаде МВО, где был командиром взвода и командиром пулеметного эскадрона 61-го кавалерийского полка. С апреля 1932 по май 1936 г. учился в Военной академии РККА им. М.В. Фрунзе. По окончании служил в Особой Краснознаменной кавалерийской дивизии им. И.В. Сталина в составе МВО и БОВО, занимал должности пом. начальника и врид начальника 1-й части штаба дивизии, командира 62-го кавалерийского полка, с мая 1938 г. — пом. начальника штаба, а с октября — начальника штаба дивизии. Участвовал с ней в походе Красной армии в Зап. Белоруссию.
С началом Великой Отечественной войны А.А. Гречко в июле 1941 г. был назначен командиром 34-й отдельной кавалерийской дивизии Юго-Западного фронта. Сформированная в районе г. Прилуки дивизия в начале августа вступила в бой южнее Киева и до января 1942 г. сражалась на Левобережной Украине в составе 26, 38, а затем 6-й армий. 18 января 1942 г. он был назначен командиром 5-го кавалерийского корпуса, принимавшего участие в Барвенково-Лозовской наступательной операции. С 12 марта 1942 г. командовал оперативной группой войск, которая в составе Южного фронта вела упорные бои с превосходящими силами противника в Донбассе. С 15 апреля 1942 г. — командующий 12-й армией, оборонявшейся на ворошиловградском направлении, а впоследствии активно участвовавшей в битве за Кавказ. В сентябре 1942 г. А.А. Гречко назначен командующим 47-й армией, одновременно исполнял должность командующего Новороссийским оборонительным районом. Соединения и части оборонительного района не допустили продвижения противника в Закавказье вдоль черноморского побережья и не позволили ему использовать Новороссийский порт. 19 октября А.А. Гречко вступил в командование 18-й армией. Армия под его командованием остановила наступающего противника, а в ноябре частью сил провела успешную операцию по ликвидации его семашской группировки, пытавшейся преодолеть Главный Кавказский хребет. В полосе Черноморской группы войск главный удар наносила 56-я армия, командующим которой с 5 января назначен А.А. Гречко. В ходе ожесточенных боев армия прорвала сильно укрепленную оборону противника и вышла на подступы к г. Краснодар. В феврале — апреле в составе Северо-Кавказского фронта она участвовала в Краснодарской наступательной операции. В сентябре войска 56-й армии совместно с 9-й и 18-й армиями в ходе Новороссийско-Таманской наступательной операции освободили Таманский полуостров. С 16 октября 1943 г. он зам. командующего войсками Воронежского (с 20 октября — 1-й Украинский) фронта. Участвовал в освобождении столицы Украины — г. Киев. 15 декабря назначен командующим 1-й гвардейской армией, которую возглавлял до конца войны. В ходе Житомирско-Бердичевской операции 24 декабря 1943 г. в составе главной группировки фронта армия перешла в наступление, освободила г. Житомир, продвинулась до 180 км. В дальнейшем 1-я гвардейская армия под его командованием участвовала в Проскуровско-Черновицкой наступательной операции, окружении и разгроме 1-й танковой армии противника в районе г. Каменец-Подольский. В Львовско-Сандомирской наступательной операции войска армии в составе 1-го Украинского фронта нанесли поражение группе армий «Северная Украина ». В сентябре — ноябре в составе 4-го Украинского фронта армия приняла участие в Восточно-Карпатской наступательной операции. Совместно с 38-й и 18-й армиями она преодолела Восточные Карпаты, полностью освободила Закарпатскую Украину и вышла на территорию Чехословакии. В дальнейшем войска армии обошли горы Высокие Татры с севера и через южные районы Польши прорвались к Моравско-Остравскому району. В ходе Пражской наступательной операции руководимые генерал-полковником А.А. Гречко войска участвовали в разгроме группы армий «Центр» и части сил группы армий «Австрия».
После войны А.А. Гречко назначен командующим войсками КВО, с 1953 г. — главнокомандующим ГСВГ, с ноября 1957 г. — 1-м зам. министра обороны СССР — главнокомандующим Сухопутными войсками, с 1960 г. — 1-й зам. министра обороны СССР — главнокомандующим ОВС государств — участников Варшавского договора. С 1967 г. — министр обороны СССР. Член ЦК КПСС в 1961-1976 гг. (кандидат в члены ЦК КПСС — с 1952 г.), член Политбюро ЦК КПСС в 1973-1976 гг. Депутат Верховного Совета СССР 2-9-го созывов.
Награжден 6 орденами Ленина, 3 орденами Красного Знамени, 2 орденами Суворова 1-й ст., 2 орденами Кутузова 1-й ст., 2 орденами Богдана Хмельницкого 1-й ст., орденом Суворова 2-й ст., медалями, иностранными орденами и медалями, а также почетным оружием.
Министр обороны СССР Маршал Советского Союза Андрей Антонович Гречко умер 26 апреля 1976 года. Похоронен в Москве, на Красной площади, урна с прахом замурована в Кремлёвской стене.
