ViAdminShift

新的越南基准测试人工智能在行政改革方面的知识更新能力

研究人员开发了 ViAdminShift，这是一个新的越南语基准，旨在评估人工智能模型处理事件级知识更新的能力。该基准围绕越南2025年的行政改革构建，该改革显著减少了省和区的数量。ViAdminShift 包含近8000个基准项目和来自改革前后的维基百科数据的检索段落，以测试模型适应事实变化的能力。初步测试表明，虽然一些模型在处理过时信息方面存在困难，但即使是小型模型，在提供相关上下文的情况下，也能在特定子集上表现良好。