RWKV-7
PulseAugur coverage of RWKV-7 — every cluster mentioning RWKV-7 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
开发者发布带有 KANs 的 RWKV-7 适配器，用于忠实重写散文
一位开发者为 RWKV-7 语言模型创建了一个名为 RWKV-7 KAN Humanizer v7.2 的开源适配器，旨在提高散文的可读性而不改变事实内容。该适配器利用集成到 RWKV-7 前馈块中的 Kolmogorov-Arnold 网络 (KANs)，可以在保持基础模型冻结的情况下，专注于学习重写行为。该项目以 Apache-2.0 许可证发布，包含适配器权重、配置和评估说明，强调负责任地用于忠实重写和研究。
-
新的SANE技术稳定极端上下文循环模型
研究人员开发了一种名为状态异常中和（SANE）的新技术，以提高Delta-Rule循环模型在处理极端长上下文时的稳定性。这些模型通常具有$O(1)$的推理内存，但在上下文外推时可能变得不稳定。SANE通过在块边界应用自适应$\tanh$压缩来解决这个问题，防止局部范数爆炸，同时保持块内并行性。该方法在处理比训练长度长24,000多倍的序列后，仍能保持功能推理能力，优于遇到数值溢出的基线模型。
-
WriteSAE 可直接操控循环语言模型状态
研究人员开发了 WriteSAE，这是一种新颖的稀疏自编码器，旨在操控循环语言模型状态内的矩阵更新。该方法学习秩-1 矩阵原子，直接替换模型自身的矩阵更新，在最终标记分布准确性方面显示出显著的改进。该技术已成功应用于 Gated DeltaNet 和 Mamba-2 等模型，展示了其在引导模型生成和理解内部状态动态方面的潜力。
-
新方法加速线性 Transformer 的三角求逆
研究人员开发了一种新的三角求逆方法，这是 Qwen3.5/3.6 和 Kimi Linear 等高级模型使用的线性注意力机制中的关键操作。该技术显著提高了该子例程的速度和数值稳定性，而该子例程通常是性能瓶颈。实验表明，与现有实现相比，在 NPU 上速度提高了 4.3 倍，从而在不牺牲准确性的情况下实现了整体层性能的提升。