一篇新研究论文提出了一种评估大语言模型（LLM）排名系统鲁棒性的方法。研究发现，删除极小比例的偏好数据，低至0.003%，就可能显著改变Chatbot Arena等平台上表现最佳模型的排名。研究还指出，源自MT-bench偏好的排名比Chatbot Arena的排名更稳定，这可能归因于MT-bench使用了专家标注员。论文总结认为，众包人类评估和LLM作为裁判的偏好数据，在数据删除方面表现出相似的敏感性。 AI
影响 凸显了LLM排行榜潜在的不稳定性，表明需要更鲁棒的评估方法。
排序理由 学术论文，详细介绍了一种评估LLM排名系统的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
