OpenRCA

审计发现：RCA基准排行榜隐藏系统特定获胜者

对离线根本原因分析（RCA）基准的新审计显示，汇集排行榜（通过跨多个子系统的单一top-1准确率对方法进行排名）可能会掩盖系统特定的性能差异。研究人员分析了三个公开的RCA基准家族，发现成对比较显示了子系统级别的效果，并且在多达11个保留的子系统中，逐一排除系统选择可能会选择得分较低的方法。该研究强调了需要更细粒度的报告来准确评估方法在不同系统上的性能。