新的HOLA架构通过双记忆系统增强了线性注意力语言模型

研究人员开发了HOLA（海马体线性注意力）架构，这是一种通过引入互补记忆系统来增强线性注意力语言模型的新型架构。该系统解决了标准线性注意力模型中信息丢失的问题，在这些模型中，由于固定大小的循环状态，早期的事实可能会被覆盖。HOLA保持了压缩状态，同时添加了一个精确的KV缓存来存储关键关联，从而提高了召回率并降低了困惑度。 AI

影响 这项研究通过提高语言模型在长上下文中的信息回忆能力，可能带来更高效、更强大的语言模型。

排序理由 该集群包含一篇详细介绍新模型架构及其在基准测试中表现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Complementary Learning Systems
• Hippocampal Linear Attention
• HOLA
• LAMBADA
• Linear Attention
• RULER
• SlimPajama
• Transformer++
• Wikitext

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →