Order-Consistent Scoring

新的OC-SFT方法提高了LLM评分器的决策稳定性

一篇新研究论文介绍了一种名为顺序一致评分（OC-SFT）的方法，旨在减轻大型语言模型（LLM）评分器的顺序依赖性。尽管当前的评分器通常基于NDCG@10等排名质量指标进行评估，但它们的决策可能会因处理文档或响应的顺序而产生显著差异。OC-SFT旨在训练评分器，使其决策无论顺序如何都能保持稳定，并在多项任务中展示出比现有方法更高的决策稳定性。