AttnRes
PulseAugur coverage of AttnRes — every cluster mentioning AttnRes across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Moonshot发布开源2.8T Kimi K3模型，采用新颖的注意力机制
Moonshot的Kimi K3模型通过发布一个开源的2.8万亿参数模型，取得了重大里程碑，这一壮举此前仅在闭源系统中出现。尽管与OpenAI和Google等大型竞争对手相比面临资源限制，Moonshot通过Kimi Delta Attention (KDA)和AttnRes (Attention Residuals)等架构变革进行了创新。KDA优化了注意力机制，以降低长上下文的计算成本，而AttnRes通过学习如何选择性地整合来自前…
-
Kimi K3 AI模型优化GPU，设计芯片并加速研究
开放前沿智能（Open Frontier Intelligence）推出的先进AI模型Kimi K3，在超越典型语言任务方面展现了卓越的能力。该模型在优化GPU内核方面表现出色，学习速度提升高达2.48倍，并显著缩短了执行时间。它还成功开发了一个可与Triton和torch.compile相媲美的GPU编程系统，甚至参与了AI芯片的初步设计。此外，Kimi K3能够自主实现、验证和分析复杂的计算研究工作流，在短短几小时内完成通常需要人…
-
为 Kimi K3 寻找关于 Stable LatentMoE 和 Gated MLA 的论文
一位 Reddit 用户正在寻找与特定人工智能技术相关的资料和论文，即 Stable LatentMoE 和 Gated MLA。这些技术在 Kimi K3 的最先进性能的背景下被提及，同时还有 KimiDeltaAttention 和 AttnRes。用户指出，LatentMoE 由 Nvidia 推出，而 Stable LatentMoE 据称是其更稀疏的版本，而 MLA 是 DeepSeek 的 KV 缓存压缩方法。该查询旨在阐…
-
DeRes架构通过双残差路径改进CTR预测
研究人员推出了一种新颖的Transformer基础CTR预测模型架构DeRes，它解耦了残差稳定性和自适应性。这种新设计采用了并行的恒等映射和注意力块残差路径，能够更好地保留早期信号并更有效地回忆长距离依赖关系。DeRes在大规模数据集上表现出卓越的性能，在计算成本仅略微增加的情况下超越了现有模型，并提供了显著更陡峭的计算-AUC缩放定律。