AttnRes
PulseAugur coverage of AttnRes — every cluster mentioning AttnRes across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
脑电图基础模型微调显示具有数据集依赖性的收益，采用专门模块
一篇新研究论文探讨了专门模块对微调脑电图（EEG）基础模型的影响。研究发现，虽然添加交叉深度注意力残差（AttnRes）和软路由专家库可以提高在某些数据集上的性能，但收益具有数据集依赖性，有时可以忽略不计甚至为负。这些增强功能也带来了运行时和内存使用量的显著增加，表明性能提升与计算成本之间存在权衡。
-
Moonshot发布开源2.8T Kimi K3模型，采用新颖的注意力机制
Moonshot的Kimi K3模型通过发布一个开源的2.8万亿参数模型，取得了重大里程碑，这一壮举此前仅在闭源系统中出现。尽管与OpenAI和Google等大型竞争对手相比面临资源限制，Moonshot通过Kimi Delta Attention (KDA)和AttnRes (Attention Residuals)等架构变革进行了创新。KDA优化了注意力机制，以降低长上下文的计算成本，而AttnRes通过学习如何选择性地整合来自前…
-
Kimi K3 AI模型优化GPU，设计芯片并加速研究
开放前沿智能（Open Frontier Intelligence）推出的先进AI模型Kimi K3，在超越典型语言任务方面展现了卓越的能力。该模型在优化GPU内核方面表现出色，学习速度提升高达2.48倍，并显著缩短了执行时间。它还成功开发了一个可与Triton和torch.compile相媲美的GPU编程系统，甚至参与了AI芯片的初步设计。此外，Kimi K3能够自主实现、验证和分析复杂的计算研究工作流，在短短几小时内完成通常需要人…
-
为 Kimi K3 寻找关于 Stable LatentMoE 和 Gated MLA 的论文
一位 Reddit 用户正在寻找与特定人工智能技术相关的资料和论文，即 Stable LatentMoE 和 Gated MLA。这些技术在 Kimi K3 的最先进性能的背景下被提及，同时还有 KimiDeltaAttention 和 AttnRes。用户指出，LatentMoE 由 Nvidia 推出，而 Stable LatentMoE 据称是其更稀疏的版本，而 MLA 是 DeepSeek 的 KV 缓存压缩方法。该查询旨在阐…
-
DeRes架构通过双残差路径改进CTR预测
研究人员推出了一种新颖的Transformer基础CTR预测模型架构DeRes，它解耦了残差稳定性和自适应性。这种新设计采用了并行的恒等映射和注意力块残差路径，能够更好地保留早期信号并更有效地回忆长距离依赖关系。DeRes在大规模数据集上表现出卓越的性能，在计算成本仅略微增加的情况下超越了现有模型，并提供了显著更陡峭的计算-AUC缩放定律。