新的离线评估任务预测排名系统展示份额变化

研究人员引入了“展示份额预测”作为排名系统的一项新颖的离线评估任务，旨在预测新模型在在线 A/B 测试之前会如何将展示份额分配给不同的优化目标。该方法解决了标准离线指标可能无法捕捉到可能降低下游效用的展示份额分配变化的问题。所提出的框架利用了结构因果模型和统计学习方法，实验表明，对于已知模型，随机森林模型在历史数据上将 L1 误差降低了 49%，但对于未见过模型的性能有所不同。 AI

影响 为排名系统引入了一种新的离线评估方法，有可能在在线测试前提高下游效用的预测准确性。

排序理由 介绍排名系统新评估任务的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.IR (Information Retrieval) 阅读 →

• A/B testing
• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• encoder-conditioned architecture
• Gotit.pub
• Hugging Face
• Impression Share Prediction
• random forest
• Ranking systems for evaluation of joint and joint motion stressfulness based on perceived discomforts
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →