PulseAugur
实时 10:20:53
English(EN) Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents

研究显示,使用工具的代理经常转向英语,影响跨语言性能

一项新研究“行动胜于雄辩:衡量使用工具的代理中的跨语言策略保留”评估了使用工具的代理在以不同语言执行任务时的表现。研究发现,虽然之前的多语言评估侧重于最终答案,但代理实际采取的行动对于理解成本、延迟和故障模式至关重要。该研究分析了 8 个模型、6 个基准和 41 种语言的 238 万次部署,识别并纠正了五种先前掩盖真实性能的混淆因素。 AI

影响 揭示了使用工具的代理即使在以其他语言提示时也经常默认使用英语,这凸显了多语言人工智能能力的一个关键改进领域。

排序理由 分析模型行为的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究显示,使用工具的代理经常转向英语,影响跨语言性能

报道来源 [1]

  1. Hugging Face Daily Papers TIER_1 English(EN) ·

    行动胜于雄辩:衡量多语言策略在工具使用代理中的保留情况

    When a tool-using agent is given the same task in a different language, does it still take the same steps? Multilingual evaluation rarely asks: it compares final answers and discards the actions. Yet those actions are the product: they fix cost and latency, decide how the system …