Родился в семье инженера-механика. В мае 1916 года был призван в армию, а в том же году окончил учебную команду при запасном кавалерийском полку. В 1917 году закончил Тверское кавалерийское юнкерское училище и участвовал в Первой мировой войне в ранге старшего унтер-офицера, командовал взводом на Румынском фронте.
В октябре 1917 года вступил в Красную Гвардию, участвовал в первых боях Красной Армии под Псковом и Нарвой. В Гражданскую войну командовал взводом, затем ротой на Западном фронте. После завершения Гражданской войны служил в Белорусском военном округе, занимая различные должности, такие как командир взвода, помощник начальника, начальник штаба полка в пограничных войсках округа.
В 1931 году окончил Кавалерийские курсы усовершенствования командного состава и стал начальником оперативного отдела штаба 7-й кавалерийской дивизии. В 1939 году завершил Высшие Академические Курсы при Академии Генштаба и возглавил 15-ю кавалерийскую дивизию.
В марте 1941 года назначен командиром 46-й стрелковой дивизии Забайкальского военного округа. Во время Смоленского сражения в 1941 году дивизия под его командованием участвовала на северо-восточных подступах Смоленска. После сильных потерь и расформирования дивизии в сентябре 1941 года, Филатов командовал 129-й стрелковой дивизией 16-й армии Западного фронта.
В конце 1941 года и начале 1942 года, Филатов, замещая должность начальника штаба 5-й армии Западного фронта, участвовал в битве под Москвой. Затем был переведён на Закавказский фронт. С августа 1943 года занимался особыми поручениями при первом заместителе наркома обороны СССР Г. К. Жукове.
Смоляне помнят подвиг его бойцов: на Доме культуры в районе Белорусской-Сортировочной, там, где в 1941 шли бои, установлена памятная доска в честь воинов 46-й стрелковой дивизии. Хотим надеяться, что расположенная недалеко коротенькая улица Филатова носит имя героя Смоленского сражения.
В апреле 1945 года стал заместителем командира 3-й ударной армии 1-го Белорусского фронта и участвовал в Берлинской наступательной операции. 24 апреля 1945 года, в уличных боях, командир 12-го гвардейского стрелкового корпуса А. Ф. Казанкин был ранен, и А. А. Филатов взял командование корпусом, продолжив участие в Берлинской операции. Он командовал корпусом до 9 мая 1945 года.
После Победы Филатов был назначен заместителем начальника Управления по возвращению советских войск на родину. Однако в апреле 1948 года был арестован по сфабрикованному делу в рамках политических репрессий. Прошел 3 года в Лефортовской тюрьме, затем был осужден на 10 лет заключения в исправительно-трудовых лагерях.
После смещения Л.П. Берии в июле 1953 года Филатов был освобожден, его дело пересмотрели, и он был восстановлен в генеральском звании и в партии. Умер Александр Алексеевич Филатов в 1956 году в Пушкино в военном госпитале от туберкулёза.
Похоронен в Москве на Ваганьковском кладбище.
