实体
GDN2
GDN2
PulseAugur coverage of GDN2 — every cluster mentioning GDN2 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的DAMI方法增强了门控线性注意力模型中的长上下文检索能力
研究人员开发了一种名为双轴内存初始化（DAMI）的新方法，以改进门控线性注意力模型中的长上下文检索。DAMI在训练前配置关键参数，以确保更好的记忆保持和跨不同模型头和层的不同检索距离。当应用于GDN、KDA、GDN2、Mamba-2和RWKV-7等模型时，DAMI与标准的随机初始化相比，检索准确率显著提高了高达16.71个百分点，同时在语言建模和推理任务中保持了可比的性能。
-
AI研究团队自主发现线性注意力架构
研究人员开发了一个由持久性AI代理组成的团队，旨在自主发现新的线性注意力架构。这个AI研究团队根植于不同的学科，维护私有的研究历史，并共享实验证据，以便在有限的预算下促进协作进展。该系统在各种语言建模和推理任务中，在1.3B规模上表现优于GDN2，突显了代理多样性、记忆和自适应分配对于持续自主科学发现的重要性。