新的DR-Arena框架自动化LLM代理评估

研究人员开发了DR-Arena，一个旨在评估深度研究代理能力的自动化评估框架。深度研究代理是能够进行自主调查的高级大型语言模型。与静态基准测试不同，DR-Arena利用当前网络趋势的实时信息来创建动态任务，以测试深度推理和广泛覆盖范围。该框架采用自适应系统，根据代理性能升级任务复杂度，旨在识别能力边界。实验表明，DR-Arena与人类偏好高度一致，与LMSYS Search Arena排行榜实现了0.94的Spearman相关性，为手动评估提供了一种可靠且经济高效的替代方案。 AI

影响 该框架可以标准化LLM代理的评估，推动开发更强大、更可靠的自主系统。

排序理由 该集群描述了一篇介绍AI代理新评估框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX Code Finder for Papers
• DagsHub
• deep research agents
• DR-Arena
• Gotit.pub
• Hugging Face
• large-language models
• LMSYS Search Arena
• ScienceCast
• Yiwen Gao

• 论文
• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →