PulseAugur
中
实时 06:54:51
English(EN) MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

新的MGAL基准测试评估多语言LLM的长上下文理解能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出MGAL，这是一个新的基准测试，旨在评估大型语言模型（LLM）在多种语言和粒度下的长上下文理解能力。MGAL使用联合国报告，涵盖8,000至128,000个token，涉及六种官方联合国语言。该基准测试在单词、句子、段落和文档级别评估性能，并考虑信息在文档中的位置，从而能够详细分析LLM在多语言长上下文理解方面的表现。 AI

影响 MGAL为LLM提供了更细致的评估，尤其是在多语言和长上下文场景下，可能指导未来的模型开发。

排序理由 该条目描述了一个用于评估LLM能力的新学术基准测试。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的MGAL基准测试评估多语言LLM的长上下文理解能力

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Chunhan Li, Chenglin Xu, Zongyang Zhang, Jiale Liu, Zhuoxi Rao, Xudong Jia, Junxiu He, Menglin Yang, Wenjuan Gong, Zhengzhe Liu, Chengwei Qin ·

    MGAL：一个多语言、粒度感知、长上下文的基准测试

    arXiv:2608.20853v1 Announce Type: new Abstract: Evaluation of long-context Large Language Models (LLMs) has advanced rapidly. However, most existing benchmarks are limited to the document level and focus mainly on high-resource languages, leaving many fine-grained challenges insu…

相关实体

相关话题