Александр Зархи родился в Санкт-Петербурге в семье Григория Исаевича (Гецела Шаевича) Зархи, владельца типографии на Симеоновской улице. После смерти отца, который был переплётным мастером, мать Елизавета Ефимовна (Рейза Хаимовна) Зархи, взяла на себя руководство типографией. Александр остался без отца и в юности работал в типографии «Омега», принадлежащей его деду и позднее дяде.
Зархи окончил Ленинградский государственный фотокинотехникум в 1927 году и затем учился в Ленинградском Пролеткульте на киноотделении. С 1929 года начал работать на кинофабрике «Совкино», где совместно с И. Е. Хейфицем организовал «1-ю комсомольскую постановочную бригаду». Эта бригада выпустила их первые фильмы «Ветер в лицо» и «Полдень» в 1930 и 1931 годах. Затем Зархи работал на киностудиях в различных городах, включая Ташкент, Тбилиси, Баку и Минск.
С 1952 года Александр Зархи начал индивидуальную режиссерскую карьеру, а с 1955 года стал режиссёром киностудии «Мосфильм». В 1963—1964 годах преподавал курсы лекций по кинорежиссуре на Высших курсах сценаристов и режиссёров.
Автор мемуарной прозы, член Союза писателей СССР (1947) и Союза кинематографистов СССР (1957), Александр Зархи также был членом КПСС с 1948 года.
Он ушел из жизни 27 января 1997 года в Москве и похоронен на Новодевичьем кладбище (участок № 10).
