引入了一个名为 EnterpriseClawBench 的新基准,旨在利用真实世界的工作场所会话来评估企业智能体。该基准包含 852 个源自专有数据的可复现任务,侧重于超越单一性能得分的综合评估指标。基准的创建者强调,有效的评估应考虑模型-工具组合、产物质量、成本和运行时间等因素,而不是依赖于单一的性能指标。即使是表现最佳的配置,使用 Codex 和 GPT-5.5,得分也仅为 0.663。 AI
影响 该基准可能导致对企业 AI 智能体进行更严格的评估,推动开发朝着实际工作场所的实用性发展。
排序理由 该条目描述了在 Hugging Face 上发布的一项新基准论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →