一项名为 LoWAgent 的新基准被引入,用于评估网页代理在低资源语言下的性能,填补了当前测试方法的空白。该基准包含六个本地化网站以及英语、印地语、孟加拉语、乌尔都语和阿姆哈拉语的 3,000 个任务实例。初步评估显示,与英语相比,闭源和开源模型在低资源语言下的性能均有所下降,其中开源模型的下降幅度更为显著。研究还发现,像 Cookie 同意通知这样的界面干扰会进一步降低代理性能,但通过 LoWAgent 数据进行训练后,可以显著提高这些语言下的性能。 AI
影响 强调了在多语言环境中提高 AI 代理能力的需求,并为提高低资源语言下的性能指明了方向。
排序理由 该集群描述了一篇介绍用于评估 AI 代理的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →