В годы Гражданской войны М. М. Громов служил в разведывательном авиационном отряде на Восточном фронте в качестве летчика. В межвоенный период он работал инструктором-летчиком в Московской авиационной школе, летчиком-испытателем научно-испытательного аэродрома, командиром отряда военной школы стрельбы и бомбометания в г. Серпухов, старшим летчиком-инструктором НИИ ВВС РККА, летчиком-испытателем и командиром отряда Центрального аэродинамического института. Ему было присвоено звание Героя Советского Союза за проявленное героизм и самоотверженное труд при установлении мирового рекорда дальности полета на самолете АНТ-25.
В июле 1937 года М. М. Громов совершил перелет по маршруту Москва — Северный полюс — г. Сан-Джасинто (штат Калифорния, США), вместе с А. Б. Юмашевым и С. А. Данилиным, установив мировой рекорд дальности полета в 10 148 км за 75 часов 2 минуты.
С началом Великой Отечественной войны, в феврале 1941 года, М. М. Громов был отправлен в США для решения вопросов поставок американских боевых самолетов в СССР. После возвращения в СССР в декабре 1941 года он стал командиром 31-й смешанной авиационной дивизии Калининского фронта, затем командующим ВВС того же фронта с февраля 1942 года. Его руководство войсками было особенно успешным в период контрнаступления под Москвой.
С мая 1942 года М. М. Громов был командующим 3-й воздушной армией, участвовавшей в оборонительных и наступательных операциях, включая Демянскую операцию и Ржевско-Сычевскую операцию. В феврале 1943 года его силы привлекались для поддержки войск Северо-Западного фронта в Демянской наступательной операции. В марте 1943 года его армия поддерживала войска Калининского фронта в Ржевско-Вяземской операции.
С мая 1943 года М. М. Громов был командующим 1-й воздушной армией, которая играла ключевую роль в Курской битве, Смоленской стратегической наступательной операции, а также в освобождении городов Ельня, Смоленск, Мстиславль и других. Позже армия участвовала в Белорусской стратегической наступательной операции.
С июля 1944 года М. М. Громов занимал должность начальника Главного управления боевой подготовки фронтовой авиации. После войны он продолжил свою службу на высоких должностях в ВВС, в том числе в должности заместителя командующего ДА по боевой подготовке и начальника Управления летной службы Министерства авиационной промышленности. С сентября 1955 года он находился в запасе.
Награжден 4 орденами Ленина, орденом Октябрьской Революции, 4 орденами Красного Знамени, орденами Суворова 2 ст., Отечественной войны 1 ст., 3 орденами Красной Звезды, медалями, иностранным орденом и медалями, а также высшей наградой Международной авиационной федерации (ФАИ) — медалью Де Лаво.
Скончался 22 января 1985 года. Похоронен в Москве, на Новодевичьем кладбище.
