Родился 27 февраля 1909 года в посёлке Канавино (ныне район Нижнего Новгорода). Научился играть на балалайке, мандолине, гитаре, а в 13 лет самостоятельно по слуху и фортепиано. Сочинять мелодии начал ещё в школе. С 1924 года подрабатывал тапёром в клубе железнодорожников.
Учился в Нижегородском техникуме с 1925 по 1929 год, после чего поступил на рабфак МГК имени П. И. Чайковского на композиторский факультет, который окончил в 1936 году. Две года спустя написал песню «Милый мой живёт в Казани», принёсшую ему известность.
В конце 1941 года для документального фильма «Разгром немецких войск под Москвой» он написал «Песню защитников Москвы». В 1943 году создал песню-балладу «Заветный камень».
Режиссёр «Неуловимых мстителей» Эдмонд Кеосаян так описывает его похороны:
«Когда я вспоминаю о Борисе Андреевиче Мокроусове, великом русском песеннике (я не преувеличиваю — великом!), перед глазами встаёт картина… Гроб… И некому поднять… Поднимали мы его со своими „неуловимыми“ — четверо пацанов 14—15-летних и я… Нет, не так должно было проводить в последний путь Бориса Андреевича Мокроусoва. Не так!»
Известен своими лирическими песнями, такими как «На крылечке», «Осенние листья», «Сормовская лирическая», «Когда весна придёт, не знаю», «Хвастать, милая, не стану», «Мы с тобою не дружили». Обычно сначала сочинял мелодию, а потом поэт писал к ней стихи. Сотрудничал с известными поэтами-песенниками: Исаковский, Долматовский, Лисянский, Лабковский, Глейзаров, Фатьянов.
В 1956 году написал песню «Вологда», которая стала известной благодаря исполнению ансамблем «Песняры» в 1976 году.
Последней работой стала музыка к фильму «Неуловимые мстители». Написать музыку к следующей серии — «Новые приключения неуловимых» — помешала смерть.
Умер 27 марта 1968 года и похоронен в Москве на Новодевичьем кладбище (участок № 6).