Родился 31 декабря 1892 года (12 января 1893 года) в селе Рубанщина (ныне Суджанский район, Курская область) в еврейской семье. Его отец, Иосиф Исаевич Гуревич, был механиком винокуренных заводов, а мать, Анна Моисеевна, — домохозяйкой. Поступил в Ахтырскую гимназию, где успешно окончил учебу, получив серебряную медаль.
Продолжил образование в Харьковском университете на факультете математики, но был исключен за гражданскую активность после года обучения. В 1912 году продолжил учебу во Франции, в Университете Монпелье и Национальной школе аэронавтики и космоса в Тулузе. Его сокурсником был известный французский авиаконструктор Марсель Блох (Дассо) (1892−1986).
Летом 1914 года, в начале Первой мировой войны, Гуревич вернулся в Россию, что прервало его образование во Франции. С 1914 по 1916 год работал чертежником в технических конторах Харькова.
В 1917 году поступил в Харьковский политехнический институт на отделение механики. В связи с гражданской войной, его учеба прерывалась, но он успешно окончил институт в 1925 году, получив диплом инженера-механика по самолётостроению. Активно участвовал в Обществе авиации и воздухоплавания Украины и Крыма (ОАВУК), где создал свои первые летательные аппараты — планеры «Бумеранг» и «Аист».
В последующие годы работал инженером-конструктором в Харьковском отделении общества «Тепло и сила», занимаясь конструированием и постройкой планёров. Позже переехал в Москву, где в 1929 году начал работать в конструкторском бюро на заводе «Десятилетие Октября». Затем стал инженером-конструктором и руководителем группы в ОПО-4 Авиатреста.
В 1936—1937 годах был откомандирован в США на авиазаводы фирмы Douglas Aircraft, а затем принимал участие в освоении в СССР самолёта Ли-2.
С апреля по декабрь 1938 года занимал должность главного конструктора ОКБ-1 завода № 84. В марте 1939 года переведён на завод № 1 в ОКБ Н. Н. Поликарпова. В декабре 1939 года был одним из основателей созданного Особого конструкторского отдела (ОКО) во главе с А. И. Микояном, став его заместителем.
В 1940 году Микоян и Гуревич создали истребитель МиГ-1 («Микоян и Гуревич»), а затем его модификацию МиГ-3. В период Великой Отечественной войны, МиГ-3 строился большими сериями и принимал активное участие в боях.
В 1940—1957 годах занимал пост заместителя главного конструктора, а с 1957—1964 годы — главного конструктора в ОКБ Микояна. В годы войны принимал участие в создании опытных самолётов, после войны — в разработке скоростных и сверхзвуковых фронтовых истребителей, которые долгое время составляли основу ВВС СССР. В 1964 году получил степень доктора технических наук.
Скончался 25 ноября 1976 года и похоронен в Ленинграде на Серафимовском кладбище (1-й вязовый участок).