PulseAugur
实时 09:10:56
English(EN) Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation

研究发现,AI代理的评估排名因评委语言而异

一篇新的研究论文探讨了用于评估AI代理的语言如何显著影响其性能排名。该研究将“代理即评委”框架的提示本地化为五种不同的语言,发现GPT-4o和Gemini等不同的AI骨干网络在特定语言中表现最佳。这表明语言应被视为代理基准中的一个关键变量,因为它甚至可以改变一个模型相对于另一个模型的感知优势。 AI

影响 强调了在AI评估中考虑语言多样性的必要性,可能影响基准设计和模型开发。

排序理由 该集群包含一篇详细介绍AI评估方法新研究发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现,AI代理的评估排名因评委语言而异

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Alhasan Mahmood, Samir Abdaljalil, Hasan Kurban ·

    Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation

    arXiv:2604.04532v2 Announce Type: replace-cross Abstract: Evaluation language is typically treated as a fixed English default in agentic code benchmarks, yet we show that changing the judge's language can invert backbone rankings. We localize the Agent-as-a-Judge prompt stack to …