По словам А. А. Мосолова, Воейков был «человек, безусловно, талантливый, не лишен светской любезности и юмора, равно как и придворной ловкости», но, когда из-за своей болезни граф Фредерикс больше не мог его сдерживать, он став дворцовым комендантом, «пользовался своим влиянием и был полным и безответственным распорядителем полиции и первым лицом в окружении государя»
После образования Российского олимпийского комитета был выбран его почётным председателем (1912).