Родился 3 (15) июня 1899 года в селе Мадаткенд Нагорного Карабаха. Армянин. Отец работал гончаром, мать вела домашнее хозяйство. В 12 лет остался без родителей и уехал на заработки в Среднюю Азию. Работал на хлопкоочистительном заводе в городе Андижане.
В 1916 году был призван в армию. С сентября 1916 по ноябрь 1917 года участвовал в Первой мировой войне на Кавказском фронте, служил в артиллерийских частях рядовым, затем командиром орудия в звании старшего фейерверкера.
М. А. Парсегов в годы Гражданской войны выступал в различных должностях, начиная от коменданта крепости в городе Андижан (ныне в Узбекистане) и заканчивая помощником командира взвода. Он принимал участие в боях на Туркестанском и Бухарском фронтах, был ранен весной 1919 года.
В период межвоенного времени он занимал различные должности в артиллерийских частях, в том числе начальника связи артиллерийского дивизиона, командира батареи и полка, а также генерал-инспектора артиллерии Красной Армии.
В советско-финляндской войне 1939-1940 годов он был начальником артиллерии 7-й армии и был удостоен звания Героя Советского Союза. Во время Великой Отечественной войны он занимал различные командные должности, включая заместителя командующего армией и командующего артиллерией на различных фронтах.
После войны он продолжал свою службу в различных должностях в артиллерийских частях, включая командующего артиллерией различных военных округов и начальника факультета Военно-артиллерийской академии.
Награжден 3 орденами Ленина, 3 орденами Красного Знамени, орденом Суворова 2 ст., медалями.
Умер 27 апреля 1964 года в Ленинграде. Похоронен на Богословском кладбище (площадка Военно-Медицинской Академии, Аллея Героев, западная сторона). На его могиле поставлена гранитная стела с бюстом.
В родном селе Колхозашен М. А. Парсегова установлен памятник-бюст.