实体
SiTU-GLU
SiTU-GLU
PulseAugur coverage of SiTU-GLU — every cluster mentioning SiTU-GLU across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Kimi K3 采用 896 个专家和混合注意力机制实现高效扩展
Kimi K3 是一个拥有 2.8 万亿参数的模型，它采用了一种新颖的方法来管理其庞大的规模，即每个 token 只激活 896 个路由专家中的 16 个。研究员苏剑林详细介绍了这一策略，旨在控制计算成本，尽管参数量和上下文长度有所增加。该模型集成了 LatentMoE 以减少专家计算和通信，并结合了 RMSNorm 和 SiTU-GLU 等机制，以在低精度训练期间保持数值稳定性。其注意力架构结合了 KDA 用于连续状态维护和 MLA…
-
Kimi K3 揭示长上下文和代理任务的架构创新
Kimi K3 发布了其技术报告，详细介绍了旨在提高大型语言模型效率和可扩展性的重大架构创新，特别是在长上下文任务和代理操作方面。该模型引入了 Kimi Delta Attention (KDA)，通过使用压缩的递归状态而非完整的 KV 缓存来管理长序列，以及用于定期检查完整上下文的 Gated Multi-Layer Attention (MLA)。Attention Residuals (AttnRes) 允许更深的网络选择性地访…