DeltaNet
PulseAugur coverage of DeltaNet — every cluster mentioning DeltaNet across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究探索统一路由以实现自适应 LLM 效率 · 跟踪 2 个来源
两篇新研究论文探讨了通过根据令牌复杂度动态调整计算资源来优化大型语言模型效率的方法。第一篇论文《线性注意力架构》比较了各种线性注意力机制，发现 Kimi Delta Attention with Muon 的验证损失最低，而纯 Gated DeltaNet 堆栈的训练吞吐量最高。这项工作还引入了跨层值路由（CLVR）来提高性能。第二篇论文《TriRoute》提出了一个统一的学习路由系统，该系统为每个令牌联合调整注意力分辨率、专家选择和…
-
新的解码器架构在中小型代码模型中显示出改进的保留能力
研究人员开发了SamatNext v0.2-B，这是一种3.56亿参数的混合序列解码器，旨在减轻中小代码模型在顺序微调过程中遗忘的问题。该实验模型在差分注意力风格层和简化的线性状态混合器层之间交替，采用RMS归一化和输出尺度校准。在受控的Python代码课程实验中，与Transformer基线相比，SamatNext v0.2-B在后续阶段表现出更优越的早期训练阶段保留能力，在后期阶段达到100.0%的通过率，同时保留了98.8%的相邻语义行为。
-
新框架使用贝叶斯记忆统一序列模型
研究人员引入了一个“设计-模型”框架，用于基于记忆假设创建高效的循环序列映射。该框架使用贝叶斯滤波将证据写入记忆，并使用依赖于查询的读出进行预测。他们的“贝叶斯层”实例化跟踪存储关联中的不确定性，提高了记忆保持和检索的鲁棒性。
-
新的注意力方法应对大语言模型长上下文挑战
研究人员正在开发新的注意力机制来处理大型语言模型中日益增长的长上下文。一种方法，Runtime-Certified Bounded-Error Quantized Attention，使用分层 KV 缓存来压缩内存，同时保证回退到精确注意力，确保语言建模和检索等任务的质量。另一种方法，DashAttention，采用可微分稀疏分层注意力来适应性地选择相关 token，以与全注意力相当的准确性实现高稀疏度，并提供优于现有分层方法的性能。…