Александр Митта родился 28 марта 1933 года в Москве. Его родители — Наум Яковлевич Рабинович, инженер автозавода, и Ливша (Липа) Израилевна Каплан, происходившая из Зельвы. У него была старшая сестра Елена Ландор (в браке Аграчёва), инженер-химик. Он был племянником историка-американиста Вениамина Израилевича Лана (Каплан) и заместителя наркома земледелия СССР Арона Израилевича Гайстера.
По одной версии, Митта взял свой псевдоним от фамилии одного из родственников со стороны матери, а по другой — от фамилии своей однокурсницы по Московскому строительному институту Нарспи, дочери чувашского поэта Василия Митты.
Он закончил инженерно-строительный факультет МИСИ имени В. В. Куйбышева в 1955 году, где его учителем был архитектор К. С. Мельников. Затем Митта работал графиком-карикатуристом в юмористических и литературно-художественных журналах.
В 1960 году он окончил режиссёрский факультет ВГИКа в мастерской Михаила Ромма. Он является режиссёром и сценаристом, принимал участие в фильмах Марлена Хуциева: «Мне двадцать лет» (также известном как «Застава Ильича») и «Июльский дождь». С 1970 по 1990-е годы Митта руководил режиссёрскими мастерскими на Высших курсах сценаристов и режиссёров. Он также преподавал в Гамбурге и в «Школе-студии Александра Митты» в Москве.
Митта является председателем жюри IV Конкурса студенческих фильмов на соискание национальных премий «Святой Анны» и членом Союза кинематографистов России, а также членом правления гильдии кинорежиссёров России. Он также автор книги «Кино между адом и раем».