研究人员开发了一种名为顺序一致评分(OC-SFT)的新训练方法,以解决大型语言模型(LLM)评分器中的顺序依赖性问题。虽然现有的评分器在排名质量上进行评估,但它们的决策可能因输入文档或响应的顺序而有很大差异。OC-SFT旨在通过训练模型,使其候选者的分数不受其在序列中位置的影响,从而使这些分数更加稳定。这种新方法在保持排名质量的同时,提高了各种任务的决策稳定性,其表现优于其他针对顺序的目标以及平均现成的排列。 AI
影响 通过确保无论输入顺序如何都能获得一致的结果,增强了基于LLM的决策系统的可靠性。
排序理由 该集群包含一篇详细介绍LLM评分器新训练方法的论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →