Родился 28 февраля 1945 года в Челябинске в семье актрисы и педагога Софьи Михайловны Гутманович (1916—1999) и театрального режиссёра, народного артиста Узбекской ССР Александра Осиповича Гинзбурга (1917—1973) — двоюродного брата кинооператора Валерия Гинзбурга и писателя, барда, диссидента Александра Галича.
В 1961—1963 годах работал ассистентом оператора на Ташкентской студии телевидения. В 1963 году начал учёбу на режиссёрском факультете Ташкентского института театрального искусства имени А. Островского (педагог — А. З. Кабулов). Окончил режиссёрский факультет Грузинского государственного института театрального искусства имени Ш. Руставели в 1966 году (класс Михаила Туманишвили).
В 1967 году начал работу в качестве режиссёра редакции эстрадно-концертных программ, с 1968 года — режиссёр Главной редакции музыкальных программ ЦТ СССР. Специализировался на постановке эстрадных концертов, шоу, позже — театральных бенефисов. Получили широкую известность и популярность телевизионные бенефисы, поставленные Е. Гинзбургом, с участием С. Крамарова, В. Васильевой, Л. Гурченко, С. Мартинсона, Л. Голубкиной.
В декабре 1978 года был назначен руководителем съёмочной группы, работавшей над созданием программы о первых гастролях группы Boney M. в Москве. Телешоу «Вечер Boney M. в концертной студии Останкино» впервые было показано в апреле 1979 года и вызвало широкий резонанс. Запись этой программы впоследствии была уничтожена в период правления Юрия Андропова (1982—1983).
Гинзбург поставил мини-цикл из двух телеконцертов Людмилы Гурченко — «Песни войны» и «Любимые песни», а также полнометражный фильм «Рецепт её молодости». Постановщик всех «Новогодних аттракционов» в цирке на Цветном бульваре и цирке на проспекте Вернадского.
В 1984 году Гинзбург стал режиссёром двух музыкальных фильмов, экранизации грузинского мюзикла «Свадьба соек» с участием ВИА «Иверия» и снятого в Ленинграде фильма «Волшебная белая ночь» с участием итальянского дуэта Аль Бано и Ромины Пауэр. Работы Гинзбурга («Волшебный фонарь», «Остров погибших кораблей», «Руанская дева по прозвищу Пышка») неоднократно отмечались призом «Серебряная роза» международного телефестиваля в Монтрё (Швейцария), первым советским победителем которого он стал.
Был продюсером студии «Волшебный фонарь» под эгидой Центра Ролана Быкова. Президент фестиваля телевизионных развлекательных фильмов 1992 года. В 2003 году удостоен премии ТЭФИ «За личный вклад в развитие отечественного телевидения». Был членом Академии российского телевидения, но в 2007 году подал заявление о выходе из её состава. По его собственным словам, Гинзбургу были страшны «чудовищная провинциальная пошлость, чванство, псевдопатриотизм, хамство и прочее в том же роде», господствовавшие на российском телевидении тех лет.
В первом десятилетии XXI века работал с Матвеем Ганапольским над передачей «Детектив-шоу». Работал как театральный режиссёр, преподавал в Московском институте телевидения и радиовещания «Останкино».
Умер 15 января 2012 года в 05:30 утра в 64-й Московской клинической больнице от инсульта. Похоронен на Троекуровском кладбище Москвы
