Яков Корнеевич Поляков родился в 1895 году в селе Новая Осиновка Саратовской губернии в крестьянской семье. В мае 1915 года он был призван в русскую армию и участвовал в Первой мировой войне, служа в конном артиллерийском дивизионе. После демобилизации он получил звание фейерверкера.
20 ноября 1918 года Поляков был призван в РККА в Аткарске и стал участником Гражданской войны. Он служил младшим командиром артиллерийской батареи, затем командиром артиллерийской батареи, принимал участие на Кавказском и Южном фронтах. В 1920 году окончил артиллерийскую школу комсостава Юго-Западного фронта и вступил в ВКП(б). Участвовал в подавлении Тамбовского восстания в 1921 году.
После Гражданской войны Поляков служил командиром артиллерийской батареи легкого артиллерийского дивизиона. В 1926 году окончил артиллерийские КУКС и был назначен помощником командира, затем командиром артиллерийского дивизиона. С 1929 года он был помощником командира зенитного артиллерийского полка по хозяйственной части.
В декабре 1931 года Поляков был направлен на КУКС зенитной артиллерии в Севастополе, после чего в 1932 году был назначен командиром полка ПВО (Гомель) Белорусского военного округа. В августе 1937 года окончил шестимесячные КУКС ПВО в Москве и был назначен командиром 1-й отдельной бригады ПВО.
31 октября 1938 года Я. К. Поляков стал начальником Управления ПВО РККА. Под его руководством были проведены меры по модернизации артиллерии ПВО, реорганизованы училища ПВО в Москве и Ленинграде, разработаны предложения по формированию новых училищ, и принята на вооружение первая аппаратура радиообнаружения самолетов РУС-1.
Помимо этого, под руководством Полякова часто проводились проверки боеготовности соединений и частей ПВО в Москве, Ленинграде и Баку. С присоединением новых территорий к СССР были разработаны предложения по включению их в систему ПВО.
Несмотря на все усилия Полякова по развитию ПВО, в мае 1940 года, при приеме Наркомата Обороны С. К. Тимошенко были обнаружены серьезные недостатки в системе ПВО. 4 июня 1940 года Поляков был отстранён от занимаемой должности.
В июне 1940 года его назначили помощником по ПВО командующего Фронтовой (Читинской) группой (Дальний Восток), а с августа 1940 года — помощником по ПВО командующего Дальневосточным фронтом. С мая 1941 года он также командовал Дальневосточной зоной ПВО.
Во время Великой Отечественной войны Поляков сохранял свою должность и продолжал управлять Дальневосточной зоной ПВО, обеспечивая воздушное прикрытие Дальневосточного фронта. В 1945 году он был назначен командиром Приамурской армией ПВО, созданной на базе Дальневосточной зоны ПВО.
После войны, начиная с 29 октября 1945 года, Поляков был командующим Дальневосточной армией ПВО. В июне 1946 года он стал заместителем командующего Дальневосточного округа ПВО, а с июля 1947 года находился в запасе по болезни.
Награжден орденом Ленина, 2 орденами Красного Знамени, орденом Красной Звезды, медалями
Яков Корнеевич Поляков скончался 28 февраля 1963 года в Москве и похоронен на Введенском кладбище (16 уч.).
