实体
Hope-attention
Hope-attention
PulseAugur coverage of Hope-attention — every cluster mentioning Hope-attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Proteus 通过增量记忆激活增强长上下文序列模型
研究人员推出了一种名为 Proteus 的新机制，旨在通过增量激活记忆来增强长上下文序列建模。与可能被早期上下文“污染”的静态记忆模型不同，Proteus 随着序列的增长而逐步扩展记忆容量。这种方法迫使更有效地压缩早期历史信息，并减少与后期信息的干扰，从而提高信息保留和性能。当应用于 SWLA、Comba、Titans 和 Hope-Attention 等现有最先进模型时，Proteus 在语言建模、推理和长上下文理解任务中表现出一致…
-
Tapered Language Models 通过重新分配参数来提高性能
研究人员推出了一种名为 Tapered Language Models (TLMs) 的架构创新，该创新重新分配了模型层之间的参数。TLMs 不采用均匀分布，而是为早期层分配更多容量，为后期层分配更少容量，这已被证明可以提高困惑度（perplexity）和下游性能。这种方法应用于 Transformers 和 Gated Attention 等各种架构中的 MLPs，在不增加参数数量或计算成本的情况下实现了这些收益。