研究人员开发了 ViAdminShift,这是一个新的越南语基准,旨在评估人工智能模型处理事件级知识更新的能力。该基准围绕越南2025年的行政改革构建,该改革显著减少了省和区的数量。ViAdminShift 包含近8000个基准项目和来自改革前后的维基百科数据的检索段落,以测试模型适应事实变化的能力。初步测试表明,虽然一些模型在处理过时信息方面存在困难,但即使是小型模型,在提供相关上下文的情况下,也能在特定子集上表现良好。 AI
影响 该基准可以提高人工智能处理动态、真实世界信息变化的能力,这对于需要最新知识的应用至关重要。
排序理由 该项目描述了一个用于评估人工智能模型的新学术基准和数据集。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →