PulseAugur
中
实时 22:04:31
English(EN) HiCI: Hierarchical Construction-Integration for Long-Context Attention

新的HiCI模块将LLaMA-2的上下文扩展到10万个token

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为HiCI（分层构建-集成）的新型注意力模块，旨在改进长上下文语言建模。该模块显式地分层构建信息，构建片段级表示，将它们集成到全局上下文中，然后广播该上下文以条件化注意力。当以极少的参数添加应用于LLaMA-2时，HiCI将上下文窗口扩展到10万和6.4万个token，在各种基准测试中显示出一致的改进。 AI

影响 这项研究提供了一种新的架构方法来扩展大型语言模型的上下文窗口，有可能提高需要长距离理解的任务的性能。

排序理由 该集群描述了一篇介绍语言模型新模块的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的HiCI模块将LLaMA-2的上下文扩展到10万个token

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Xiangyu Zeng, Qi Xu, Yunke Wang, Chang Xu ·

    HiCI：用于长上下文注意力的分层构建-集成

    arXiv:2603.20843v3 Announce Type: replace-cross Abstract: Long-context language modeling is commonly framed as a scalability challenge of token-level attention, yet local-to-global information structuring remains largely implicit in existing approaches. Drawing on cognitive theor…

相关实体

相关话题