PulseAugur
实时 22:42:59
实体 State-space language models

State-space language models

PulseAugur coverage of State-space language models — every cluster mentioning State-space language models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_129801 ·

    HOLA 为线性注意力模型增强了互补记忆系统

    研究人员开发了一种名为 HOLA(海马体线性注意力)的新方法,以增强线性注意力和状态空间语言模型的记忆能力。该方法引入了一个互补的“海马体”组件,用于存储精确的键值关联,解决了传统循环状态可能覆盖早期事实的损失性质。HOLA 在有界精确缓存旁边维护一个压缩记忆,从而能够高效存储线性可压缩结构,同时保留关键关联。这种半参数记忆系统在 Wikitext 和 LAMBADA 基准测试中的困惑度方面取得了显著改进,并在“针尖麦芒”召回测试中表…