PulseAugur
实时 03:03:26
English(EN) EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions

新的企业智能体基准评估真实世界工作场所会话

引入了一个名为 EnterpriseClawBench 的新基准,旨在利用真实世界的工作场所会话来评估企业智能体。该基准包含 852 个源自专有数据的可复现任务,侧重于超越单一性能得分的综合评估指标。基准的创建者强调,有效的评估应考虑模型-工具组合、产物质量、成本和运行时间等因素,而不是依赖于单一的性能指标。即使是表现最佳的配置,使用 CodexGPT-5.5,得分也仅为 0.663。 AI

影响 该基准可能导致对企业 AI 智能体进行更严格的评估,推动开发朝着实际工作场所的实用性发展。

排序理由 该条目描述了在 Hugging Face 上发布的一项新基准论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的企业智能体基准评估真实世界工作场所会话

报道来源 [1]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    EnterpriseClawBench:基于真实工作场所会话的智能体基准测试

    EnterpriseClawBench presents a benchmark for enterprise agents based on real-world sessions with 852 reproducible tasks, emphasizing comprehensive evaluation metrics beyond single performance scores.