PulseAugur
实时 07:08:48
实体 Sparse Gated Attention

Sparse Gated Attention

PulseAugur coverage of Sparse Gated Attention — every cluster mentioning Sparse Gated Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_228715 ·

    A.X K2 语言模型发布,拥有 6880 亿参数并专注于智能体应用

    一份新的技术报告介绍了 A.X K2,一个拥有 6880 亿参数的混合专家(MoE)语言模型,专为智能体应用而设计。尽管其训练的 token 数量少于其前身 A.X K1,但由于 token 效率的提高和更高质量的训练数据集,A.X K2 在各种基准测试中表现出显著的改进。该模型采用了稀疏门控注意力(SGA)等创新技术,以实现高效的长上下文处理,并采用了门控归一化(GN)技术以实现稳定的大规模训练,在 RULER 和数学任务等基准测试…