Родился 6 января 1904 года в селе Клины (ныне Медынский район, Калужская область). С 1932 года находился на военной службе, поступив в Военную академию механизации и моторизации РККА. В 1934 году успешно её окончил и был назначен конструктором в специальное конструкторское бюро Кировского завода в Ленинграде. В начале своей карьеры участвовал в создании основного танка Т-28, а затем принял участие в разработке тяжёлого танка СМК под общим руководством Ж. Я. Котина.
В период советско-финляндской войны танк СМК, созданный под руководством А. С. Ермолаева, успешно использовался в боях на Карельском перешейке в зиму 1940 года.
Во время Великой Отечественной войны А. С. Ермолаев занимал важные позиции в области конструкторской деятельности, включая ведущего конструктора, заместителя главного конструктора и главного конструктора ОКБ опытного танкового завода № 100. Под его руководством разрабатывались тяжёлые танки, такие как КВ-8, КВ-1С, КВ-85, ИС-1 и ИС-2, а также тяжёлые самоходные артиллерийские установки СУ-152, ИСУ-152 и ИСУ-122.
После войны, до 1949 года, работал на Челябинском тракторном заводе, а затем переехал в Ленинград, где возглавил создание тяжёлых танков Т-10 в 1953 году. Также участвовал в разработке новых конструкций танков, а также тракторов С-80 и К-700.
Алексей Семёнович Ермолаев ушёл из жизни 5 октября 1977 года в Ленинграде и был похоронен там же.
