新框架将“试调”形式化，用于LLM评估

研究人员开发了一种方法，将“试调”（一种对大型语言模型（LLM）的非正式用户评估过程）形式化。该方法承认标准基准测试常常无法捕捉实际用途，导致用户依赖主观的、基于经验的评估，尤其是在编码等任务上。新框架个性化了用于测试的提示和判断响应的标准。实验表明，这种形式化的试调与传统基准测试相比，可以改变模型的偏好排名，表明它可以更好地弥合理论分数与实际应用之间的差距。 AI

影响 形式化用户基础的LLM评估可能导致更实用、更符合用户期望的模型开发。

排序理由 该集群包含一篇详细介绍LLM新评估方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Influence Flower
• Itay Itzhak
• LLMs
• ScienceCast

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →