H-MARL Expert

审计揭示 CAGE 4 网络防御基准评分存在缺陷

对用于评估已学习网络防御代理的 CAGE 4 基准进行的新审计揭示了其评分和方法论方面存在重大问题。研究表明，模拟器会默默地丢弃动作，导致分数虚高，并且评估过程会播种环境但不播种策略，使得报告的均值不可靠。此外，研究强调了恢复精度的不一致性，以及已发布的比较表中关于伪影、采样和使用标准缺乏清晰度。研究人员正在发布他们的发现、代码和披露清单，以解决这些担忧。