Equal-Cost Top-k Allocation

新研究质疑对 Top-k 分配的离线评估的信任度

一篇新的研究论文探讨了在预算有限的情况下，对 Top-k 分配策略的离线评估的信任度所面临的挑战。该研究在五个数据集上对六种不同的估计方法进行了基准测试，结果显示数据中的弱重叠是一个关键因素，它受记录器-目标行为一致性的影响，而不仅仅是记录的清晰度。研究还强调，交叉拟合结果并不能解决优化器的诅咒问题，并且倾向估计误差是这些评估中性能下降的重要来源。