在隶属于克里姆林宫卫戍司令部期间，博物馆失去了作为文化机构的独立性。由于缺乏博物馆专业人才，与博物馆业界的联系断绝，又由于不对公众自由开放等原因，博物馆事实上已沦为文物仓库。

1939年3月，扎哈罗夫被任命为国家兵器库馆长。所学专业为工程师的扎哈罗夫同其30年代的前任一样没有任何博物馆工作经验，但他做事认真，渴望掌握新的职业技能，这种精神使他在那个不寻常的时期成功领导了博物馆工作。1938-1939年，博物馆设立博物馆财产和文物清算委员会，该委员会指出馆藏物品清点和保存中存在的诸多弊病。在扎哈罗夫领导下，博物馆于1940年开始重新编撰馆藏物品清单。

1941年6月，博物馆工作因卫国战争爆发而中断。博物馆工作人员在克里姆林宫卫戍司令斯皮里多诺夫将军的积极协助下，将博物馆珍贵物品火速装箱，并于1941年夏转移至斯维尔德洛夫斯克。在宝藏转移期间，博物馆馆藏物品统一清单的编撰工作仍在继续。

1945年2月20日，被转移的文物全部返回国家兵器库。当年4月，兵器库举办了开战以来的首次展览。

卫国战争结束后，克里姆林宫内的所有历史建筑都得到了精心修复。