После окончания в 1910 г. учительской школы в селе Дьяковка Новоузенского уезда Самарской губернии, Александр Гречкин работал учителем. В 1914 г. был мобилизован в армию и зачислен в запасной батальон лейб-гвардии Измайловского полка. В конце мая 1915 г. направлен на обучение в 3-ю Петроградскую школу прапорщиков. После успешного завершения обучения в августе того же года, его произвели в прапорщики, и он был направлен на Западный фронт. Зачислен в 228-й пехотный Задонский полк 57-й пехотной дивизии, который в то время активно участвовал в боях в районе крепости Осовец. Позднее переброшен с полком на Румынский фронт. В составе полка Гречкин сражался на Юго-Западном фронте в районе реки Стоход, занимая посты командира роты, командира выборного батальона и штабс-капитана. В 1917 г. стал членом полкового комитета. После демобилизации вернулся к работе учителем.
В августе 1918 г. добровольно вступил в РККА и стал помощником комиссара штаба Советской Донской республики. Принимал активное участие в событиях на Южном фронте: командовал батальоном, был начальником обороны Моршанского уезда и командиром запасного полка 9-й Кубанской армии. Участвовал в боях с частями 4-го Донского конного корпуса под командованием генерала К.К. Мамонтова, участвовал в подавлении Улагаевского десанта и боролся с бандитизмом на Кубани. После завершения войны А.А. Гречкин командовал полком, руководил дивизионной школой, а также командовал Ростовским отдельным караульным батальоном. В 1926 г. он окончил Стрелково-тактические курсы усовершенствования комсостава РККА «Выстрел» имени III Коминтерна и был направлен в Средне-Азиатский военный округ, где получил назначение командиром 9-го Туркестанского стрелкового полка 3-й Туркестанской стрелковой дивизии.
В период апрель-июль 1931 г., возглавляя полк, А.А. Гречкин активно участвовал в борьбе с басмачами под командованием Ибрагима-бека. С января 1932 г. был помощником командира, а с июля 1935 г. стал командиром 15-й Сивашской стрелковой дивизии с званием комбрига. 26 ноября 1935 г. при введении персональных воинских званий начальствующего состава РККА, А.А. Гречкину было присвоено звание комбрига. В марте 1936 г. он стал начальником отдела военной подготовки учащихся Киевского военного округа. В 1939 г. успешно окончил Киевское высшее военно-национальное училище академии генерального штаба РККА, а в сентябре того же года принял участие в походе Красной Армии в Западную Украину. В начале Советско-финляндской войны (1939–1940 гг.) согласно распоряжению Е.А. Щаденко, начальника Управления кадров Красной Армии, Гречкин сформировал 1-ю дивизию Финской народной армии и участвовал в боевых действиях на Карельском перешейке, в том числе в взятии города Выборга. 4 июня 1940 г., после введения в РККА генеральских званий, ему было присвоено звание генерал-майора. По завершении боевых действий в июле 1940 г.
В первые месяцы Великой Отечественной войны генерал-майор А.А. Гречкин, оставаясь в прежней должности, руководил работами по созданию Миусского оборонительного рубежа, оборонительных обводов вокруг г. Ростова-на-Дону. С 3 августа по 4 сентября 1941 г. временно исполнял должность командующего войсками СКВО. В октябре того же года был назначен командующим оперативной группой 56-й отдельной армии Южного фронта, которая участвовала в Ростовской оборонительной, затем Ростовской наступательной операциях. В ходе Ростовской наступательной операции войска армии и её армейской оперативной группы генерала А.А. Гречкина во взаимодействии с 9-й армией Южного фронта освободили г. Ростов-на-Дону. С июня 1942 г. — заместитель командующего 24-й армией. С августа 1942 г. — командир 318-й стрелковой дивизии.
С декабря того же года командовал 16-м стрелковым корпусом, затем десантной группой войск 18-й армии Закавказского фронта. В феврале 1943 г. А.А. Гречкин командовал оперативной группой армии по формированию, подготовке и высадке морского десанта южнее г. Новороссийска. С июня 1943 г. — командующий 9-й армией Северо-Кавказского фронта. В сентябре-октябре того же года она приняла участие в Новороссийско-Таманской наступательной операции. В октябре 1943 г. ему было присвоено воинское звание генерал-лейтенанта. С ноября 1943 г. генерал-лейтенант А.А. Гречкин командовал 28-й армией 4-го Украинского фронта, которая участвовала сначала в Никопольско-Криворожской, затем в составе 3-го Украинского фронта — в Березнеговато-Снигирёвской наступательных операциях. В мае 1944 г. он был назначен заместителем командующего войсками 3-го Прибалтийского фронта и в этой должности принимал участие в Псковско-Островской, Тартуской и Рижской наступательных операциях. После расформирования 3-го Прибалтийского фронта в октябре 1944 г. А.А. Гречкин направлен в распоряжение ГУК НКО, а с апреля 1945 г. состоял в распоряжении Военного совета 1-го Украинского фронта. В самом конце войны он был назначен командиром 48-го стрелкового корпуса 1-го Украинского фронта.
После войны генерал-лейтенант А.А. Гречкин продолжал командовать этим корпусом в Львовском военном округе. С мая 1946 г. командовал 73-м Силезским стрелковым корпусом в Прикарпатском военном округе. С октября 1946 г. — помощник начальника по тактической подготовке Высших стрелково-тактических курсов усовершенствования комсостава пехоты «Выстрел» им. Б.М. Шапошникова. С февраля 1951 г. — начальник специального факультета ускоренной подготовки Военного института иностранных языков. В июне 1954 г. уволен в отставку.
Награжден орденом Ленина, 5 орденами Красного Знамени, орденами Кутузова 1-й ст., Богдана Хмельницкого 1-й ст., Суворова 2-й ст., медалями.
Скончался в Москве 30 августа 1964 года. Урна с прахом захоронена в колумбарии Новодевичьего кладбища.
