Яков Корнеевич Поляков родился в 1895 году в селе Новая Осиновка Саратовской губернии в крестьянской семье и учился в сельской школе. В мае 1915 года был призван в русскую армию и стал участником Первой мировой войны, где служил в конном артиллерийском дивизионе и демобилизовался в звании фейерверкера.
20 ноября 1918 года в Аткарске был призван в РККА, участвовал в Гражданской войне, начиная с младшего командира артиллерийской батареи. Затем продвигался по службе, в 1920 году окончил артиллерийскую школу комсостава Юго-Западного фронта и вступил в ВКП(б). В 1921 году участвовал в подавлении Тамбовского восстания.
После Гражданской войны служил командиром артиллерийской батареи легкого артиллерийского дивизиона. В 1926 году окончил артиллерийские КУКС и занял должности помощника командира, командира артиллерийского дивизиона, а затем помощника командира зенитного артиллерийского полка.
В декабре 1931 года был направлен на КУКС зенитной артиллерии в Севастополе и после их окончания в 1932 году был назначен командиром полка ПВО в Белорусском военном округе. В 1937 году окончил шестимесячные КУКС ПВО в Москве и стал командиром 1-й отдельной бригады ПВО.
31 октября 1938 года Поляков был назначен начальником Управления ПВО РККА. Под его руководством проводились меры по модернизации артиллерии ПВО, реорганизация училищ ПВО в Москве и Ленинграде, а также формирование новых училищ. В это время принята на вооружение первая аппаратура радиообнаружения самолетов РУС-1.
Были организованы частые проверки боеготовности соединений и частей ПВО в Москве, Ленинграде и Баку. С присоединением новых территорий были разработаны предложения по включению в число пунктов ПВО важнейших городов западных областей Украины и Белоруссии, Прибалтийских республик и Молдавии.
Несмотря на усилия Полякова, в мае 1940 года при приеме Наркомата Обороны от С. К. Тимошенко были выявлены серьезные недостатки в системе ПВО. 4 июня 1940 года Я.К. Поляков был отстранён от занимаемой должности.
В июне 1940 года он был назначен помощником по ПВО командующего Фронтовой (Читинской) группой (Дальний Восток), а с августа 1940 года — помощником по ПВО командующего Дальневосточным фронтом. С мая 1941 года он также командовал Дальневосточной зоной ПВО.
Во время Великой Отечественной войны Поляков оставался на той же должности, обеспечивая воздушное прикрытие Дальневосточного фронта. В его зону ответственности входили различные районы ПВО, и военные операции включали Сунгарийскую и Южно-Сахалинскую.
14 марта 1945 года он был назначен командиром Приамурской армии ПВО, созданной на базе Дальневосточной зоны ПВО, и участвовал в Советско-японской войне. После войны, с 29 октября 1945 года, он был командующим Дальневосточной армией ПВО, а с июня 1946 года — заместителем командующего Дальневосточного округа ПВО. В июле 1947 года по болезни Поляков был переведен в запас.
Награжден орденом Ленина, 2 орденами Красного Знамени, орденом Красной Звезды, медалями
Яков Корнеевич Поляков умер 28 февраля 1963 года в Москве и похоронен на Введенском кладбище (16 уч.).
