Janghoon Han

新的DEER基准评估AI生成的专家报告

研究人员推出了DEER，这是一个旨在评估深度研究代理生成的专家级报告质量的新基准。DEER解决了评估多方面报告质量、潜在LLM裁判错误以及声明验证的需求等方面的挑战。它采用专家开发的分类法，包含详细的评分项目，并为基于LLM的裁判提供指导，同时还有一个声明验证架构。使用DEER进行的实验表明，当前系统可以生成看似合理、引用证据的报告，但在逻辑完整性和完全满足专家用户请求方面仍有不足，为系统改进提供了可解释的信号。