实体
SlimPajama
SlimPajama
PulseAugur coverage of SlimPajama — every cluster mentioning SlimPajama across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
HOLA 为线性注意力模型增强了互补记忆系统
研究人员开发了一种名为 HOLA（海马体线性注意力）的新方法，以增强线性注意力和状态空间语言模型的记忆能力。该方法引入了一个互补的“海马体”组件，用于存储精确的键值关联，解决了传统循环状态可能覆盖早期事实的损失性质。HOLA 在有界精确缓存旁边维护一个压缩记忆，从而能够高效存储线性可压缩结构，同时保留关键关联。这种半参数记忆系统在 Wikitext 和 LAMBADA 基准测试中的困惑度方面取得了显著改进，并在“针尖麦芒”召回测试中表…
-
新的HOLA架构通过双记忆系统增强线性注意力语言模型
研究人员开发了HOLA（海马体线性注意力）架构，这是一种通过引入互补记忆系统来增强线性注意力语言模型的新型架构。该系统解决了标准线性注意力模型中信息丢失的问题，在这些模型中，由于固定大小的循环状态，早期事实可能会被覆盖。HOLA在保持压缩状态的同时，增加了精确的KV缓存来存储关键关联，从而提高了召回率并降低了困惑度。
-
新的RAG和长上下文模型利用知识图谱
两篇新的研究论文介绍了改进检索增强生成（RAG）和长上下文语言模型的先进方法。第一篇论文《用于上下文感知和关系感知的图检索增强生成的统一框架》（HyGRAG）提出了一个分层图RAG框架，该框架整合了上下文和关系信息，以在不同抽象级别上实现更有效的知识融合和检索。第二篇论文《用于长上下文建模的知识图增强记忆增强检索》（KGERMAR）提出了一个在推理过程中构建动态、上下文特定的知识图谱的框架，以增强对长上下文模型中实体状态和关系的理解，…