PulseAugur
中
实时 07:11:55

Raven 模型通过稀疏记忆路由提高长上下文召回率

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的线性时间序列模型 Raven，旨在提高长上下文召回率。与更新整个记忆密集或固定窗口内稀疏的现有模型不同，Raven 使用学习到的、依赖输入的路由来更新选定的记忆槽子集。这种方法可以减轻干扰和硬驱逐问题，从而更有效地保留长距离内容。Raven 在召回密集型基准测试中表现出具有竞争力或更优的性能，并在外推到显著更长的上下文长度时保持有效性。 AI

影响 这种新的序列建模方法可以增强人工智能系统从非常长的文本或序列中处理和回忆信息的能力。

排序理由 详细介绍一种新的序列建模技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Raven 模型通过稀疏记忆路由提高长上下文召回率

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu ·

    Raven：具有稀疏记忆路由的高召回率序列建模

    arXiv:2607.25357v1 Announce Type: cross Abstract: Long-context recall in linear-time sequence models highlights a tradeoff in how they write to memory. State-based linear models, such as state-space models (SSMs) and linear Transformers, write densely, updating the entire state f…

相关实体

相关话题