Случайные смерти подчиненных не давали покоя Василию. В 1952 году он приказал провести демонстрационный полет истребителей во время плохой погоды на Первомай. Самолеты летели в беспорядке, и два из них разбились при посадке. Кроме того, он стал чаще появляться пьяным на собраниях персонала. Этого было достаточно, чтобы Василий Иосифович был лишен всех своих полномочий.
Разгневанный отец заставлял его посещать лекции в Военной академии, но Василий игнорировал их. Он часто оправдывал свою любовь к алкоголю, говоря, что проживет только до смерти своего отца, и отчасти был прав. После смерти Иосифа Сталина его сын сразу же заговорил о заговоре против своего отца и его убийстве. Руководству партии такой скандал показался невыгодным, и они немедленно сфабриковали против Василия дело о растрате госсредств и посадили его во Владимирский централ под именем Василий Васильев. В тюрьме он начал чувствовать себя лучше без алкоголя, а также научился искусству переворачивания.
После досрочного освобождения 9 января 1960 года его вызвали на встречу с Никитой Хрущевым, а 21 января того же года приказом министра обороны СССР в приказ от 26 марта 1953 года были внесены изменения, и теперь Василий был «уволен» в запас с правом ношения военной формы и пенсионными пособиями. Ему выделили трехкомнатную квартиру в Москве, назначили пенсию, и даже поднимался вопрос о возвращении его личного имущества, изъятого при аресте.
