新框架使用AI指导人类比较以实现高效排名

研究人员开发了一种新颖的人机协同排序框架，称为Surprise-Guided MergeSort (SGS)。该系统使用视觉语言模型（VLM）来识别真正需要人类判断的比较，而不是完全取代人类标注员。SGS集成了MergeSort调度器、一个结合了VLM置信度、Elo差距和投票熵的惊喜评分器，以及一个自适应预算分配器，将高惊喜度配对分配给人类，同时自动化低惊喜度配对。在文本相似性和图像质量评估的六个基准测试中，SGS成功地在每次会话中跳过了多达535个非信息性比较，在相同预算下，其Kendall's tau指标比Active Elo高出6-12%。 AI

影响 通过优化人类标注工作，这种方法可以显著降低主观排序任务的成本和时间。

排序理由 该集群包含一篇学术论文，详细介绍了一种用于人机协同排序的新算法和框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Elo
• Surprise-Guided MergeSort
• Vision-Language Model

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →