Shachar Don-Yehiya

研究发现，LLM评估锚点必须避免极端值，以获得可靠排名

arXiv上的一篇新研究论文探讨了锚点选择在大型语言模型（LLM）评估中的关键作用。该研究在Arena-Hard-v2.0数据集上测试了22个不同的锚点，发现使用极端模型（表现最好或最差）作为锚点会显著降低与人类排名的相关性。研究人员认为，锚点选择的影响与裁判模型本身的选择相当。他们为选择更具信息量的锚点提供了建议，并指出当前的基准测试规模不足以可靠地评估具有竞争力的模型。