新的DEER基准评估AI生成的专家报告

研究人员推出了DEER，这是一个旨在评估深度研究代理生成的专家级报告质量的新基准。DEER解决了评估多方面报告质量、潜在LLM裁判错误以及声明验证的需求等方面的挑战。它采用专家开发的分类法，包含详细的评分项目，并为基于LLM的裁判提供指导，同时还有一个声明验证架构。使用DEER进行的实验表明，当前系统可以生成看似合理、引用证据的报告，但在逻辑完整性和完全满足专家用户请求方面仍有不足，为系统改进提供了可解释的信号。 AI

影响 提供了一种标准化方法来评估AI生成的研报，从而能够更准确地评估其质量并识别改进领域。

排序理由 该集群描述了一篇介绍用于评估AI生成报告的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• Connected Papers
• CORE Recommender
• DagsHub
• DEER
• Gotit.pub
• Hugging Face
• Influence Flower
• Janghoon Han
• Litmaps
• ScienceCast
• scite Smart Citations

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →