DeltaNet
PulseAugur coverage of DeltaNet — every cluster mentioning DeltaNet across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
LLM 记忆挑战：更新过时信息，而非仅仅回忆
目前专注于扩大大型语言模型上下文窗口大小的做法，可能忽略了记忆的一个关键方面：更新或忘记过时信息的能力。尽管模型现在可以处理数百万个 token，但它们难以调和冲突数据，例如过时的 API 超时值，这会导致错误的响应。研究人员正在探索 DeltaNet 和 BDH 等记忆架构，这些架构使用基于预测错误更新和突触可塑性，但如何在不破坏不相关信息的情况下确定何时以及如何更新记忆仍然存在挑战。当前的评估方法主要测试回忆能力，而不是适应新的、…
-
KronLSTM 引入克罗内克三角函数规则以实现稳定的长上下文 AI 记忆
研究人员推出 KronLSTM，这是一种利用克罗内克三角函数规则进行稳定联想记忆更新的新型线性注意力架构。该方法通过在对现有信息干扰最小的情况下进行精确记忆校正，增强了长上下文建模能力。实验表明，KronLSTM 在需要长上下文的任务上，性能与现有的线性注意力模型相当，甚至常常超越它们。
-
AI自主发现105种神经架构，性能超越Mamba2
研究人员开发了ASI-Arch，一个旨在自主进行神经架构研究的AI系统。该系统通过研究、实验、分析和更新的持续循环进行运作。在应用于线性注意力机制时，ASI-Arch成功进行了1,773次实验，并识别出105种最先进的架构，其性能最佳的模型在现有架构如DeltaNet和Mamba2上显示出显著的改进。
-
新研究解决了循环神经网络的记忆和效率问题
两篇新研究论文探讨了用于处理序列数据的循环神经网络的进展。第一篇论文“DeltaTTT”介绍了一种用于非线性循环记忆网络的层优化技术，旨在通过解决优化难题来提高其在语言建模和检索任务中的性能。第二篇论文“MemKD”提出了一种专门为紧凑型循环神经网络设计的知识蒸馏框架，使小型模型能够在资源受限的环境中为时间序列分析保留大型模型的性能。
-
增长式神经网络的新型检索中心深度学习范式
研究人员推出了一种新颖的神经网络范式——检索中心深度学习（RCDL），该范式为每个训练数据点存储键值表示。与将数据压缩成固定大小矩阵的传统方法不同，RCDL在推理过程中使用注意力机制来检索和重组这些表示，从而实现增长式神经网络。该论文详细介绍了核化注意力层的函数梯度学习规则，并展示了RCDL在图像分类和合成学习任务中的有效性。
-
脉冲神经网络推动节能语言建模 · 跟踪3个来源
研究人员正在探索开发用于语言建模的脉冲神经网络（SNN），旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆，能够从头开始进行大规模预训练，在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律，发现参数与数据之间的权衡与Transformer相似，但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…
-
LLM引导进化搜索原生脉冲神经网络架构
研究人员开发了OpenArchEvo，一个利用大型语言模型（LLM）进化脉冲神经网络（SNN）原生神经架构的新颖系统。与改编现有的人工神经网络（ANN）设计的传统方法不同，OpenArchEvo探索开放程序空间，从而能够发现专门针对脉冲计算优化的架构。该方法旨在提高SNN在序列建模任务中的能效和性能。该系统使用三视图表示（代码、原理、行为指纹）来估计新颖性和预测性能，从而降低了发现新架构的计算成本。
-
新研究推动表格基础模型实现高效和鲁棒性
多篇研究论文探讨了表格基础模型（TFMs）的进展，重点关注提高其效率、鲁棒性和适应性。知识蒸馏等技术正被用于从大型TFM创建更小、更快的学生模型，而RelICL和VIP-COP等新方法则解决了关系学习和上下文优化中的挑战。此外，研究正在探索架构选择和参数高效适应策略，以增强TFM在亚群体偏移和大规模数据集等各种数据条件下的性能。
-
新研究解决了持续学习模型中的灾难性遗忘问题 · 跟踪了 8 个来源
多篇研究论文探讨了神经网络中持续学习的复杂动态，重点关注模型如何随时间保留或遗忘信息。研究调查了缓解灾难性遗忘的方法，例如固定矩阵状态、可修改内存和服务器端重放机制。研究人员正在开发理论框架和实用技术，以平衡对新任务的适应与保留先前获得的知识，旨在实现更强大、更高效的学习系统。
-
本地27B LLM审计并修复Splunk + Sysmon堆栈
一位安全分析师使用本地的27B LLM Qwen3.8-27B来审计和修复其Splunk和Sysmon安全堆栈。该模型完全在分析师的硬件上运行，成功识别并纠正了重复日志摄入和禁用事件通道等问题。然而，LLM在修复任务方面遇到了困难，有时会因为追逐无关细节而超出其上下文窗口，这突显了需要系统提示来指导其停止点。
-
研究发现寄生路径阻碍 RNN 状态跟踪
一篇新研究论文提出了 Householder 线性 RNN 中“加性输入路径”的概念，并将其识别为阻碍状态跟踪的寄生吸引子。当移除此路径时，相同的架构能够学习并泛化到更长的序列，在某些任务上达到完美的准确率。该研究表明，加性路径会破坏并隐藏正确的自动机学习，实验表明，在禁用此路径的情况下初始化模型可以实现精确泛化。
-
Nexus模型提供与SDXL相当的高效文本到图像生成
研究人员推出了一种新颖的文本到图像生成模型Nexus，旨在提高效率。Nexus集成了稀疏架构、线性复杂度和低比特量化，结合了MoE前馈层和门控DeltaNet注意力。这种方法使Nexus在生成质量上可与SDXL和Stable Diffusion 3等成熟模型相媲美，同时显著提高了推理速度并降低了内存需求。在COCO和Laion数据集上进行的实验验证了其有效性。
-
Qwen3.8-27B-FP8多模态模型发布，采用Gated-DeltaNet架构
名为Qwen3.8-27B-FP8的新多模态模型已发布。该模型能够进行图像-文本-到-文本生成，并采用混合Gated-DeltaNet/Gated-Attention架构。它包含64层、270亿参数，并使用FP8量化进行推理。该模型的推理工作量可通过低、中或高设置进行控制。
-
新的TTCD框架在推理过程中增强长上下文语言模型
研究人员推出了一种名为测试时上下文蒸馏（TTCD）的新型长上下文语言建模框架，该框架可在推理过程中优化参数更新。与以往的方法不同，TTCD引入了一个自监督目标，以策略性地分配有限的内存容量来存储未来可能相关的信息。实验表明，TTCD，特别是其就地变体（IP-TTCD），在长上下文语言建模任务中优于DeltaNet和滑动窗口注意力等现有方法。该方法使预训练的Transformer模型能够在推理过程中持续适应其参数，从而以最小的架构更改获…
-
Kimi Delta Attention 解析：从二次到线性变体
本文深入探讨了 Kimi Delta Attention (KDA) 机制，这是一种复杂的线性注意力变体。文章追溯了从二次注意力到 KDA 的演变过程，解释了 KDA 如何通过关注误差校正而非直接值更新来解决早期线性注意力模型的局限性。解释中使用了 bra-ket 符号和数学推导来说明该过程，并强调了其在 Qwen 和 Kimi 等现代模型中的应用。
-
Reverso：用于零样本预测的高效时间序列基础模型
研究人员开发了Reverso，这是一个新的高效时间序列基础模型系列，专为零样本预测而设计。与依赖大型Transformer和数亿参数的先前模型不同，Reverso采用了更小的混合模型，该模型交织了卷积层和线性RNN层。这些更紧凑的模型，例如DeltaNet，可以实现与大型模型相当的性能，同时效率更高且成本效益更高。该开发还结合了数据增强和推理策略，以进一步增强预测能力。
-
新研究探索统一路由以实现自适应 LLM 效率 · 跟踪 2 个来源
两篇新研究论文探讨了通过根据令牌复杂度动态调整计算资源来优化大型语言模型效率的方法。第一篇论文《线性注意力架构》比较了各种线性注意力机制，发现 Kimi Delta Attention with Muon 的验证损失最低，而纯 Gated DeltaNet 堆栈的训练吞吐量最高。这项工作还引入了跨层值路由（CLVR）来提高性能。第二篇论文《TriRoute》提出了一个统一的学习路由系统，该系统为每个令牌联合调整注意力分辨率、专家选择和…
-
新的解码器架构在中小型代码模型中显示出改进的保留能力
研究人员开发了SamatNext v0.2-B，这是一种3.56亿参数的混合序列解码器，旨在减轻中小代码模型在顺序微调过程中遗忘的问题。该实验模型在差分注意力风格层和简化的线性状态混合器层之间交替，采用RMS归一化和输出尺度校准。在受控的Python代码课程实验中，与Transformer基线相比，SamatNext v0.2-B在后续阶段表现出更优越的早期训练阶段保留能力，在后期阶段达到100.0%的通过率，同时保留了98.8%的相邻语义行为。
-
新框架利用贝叶斯记忆统一序列模型
研究人员引入了一个“设计-模型”框架，用于创建基于记忆假设的高效循环序列映射。该框架使用贝叶斯滤波将证据写入记忆，并使用查询依赖的读出进行预测。他们的“贝叶斯层”实例化跟踪存储关联中的不确定性，提高了记忆保存和检索的鲁棒性。
-
新的注意力方法应对大语言模型长上下文挑战
研究人员正在开发新的注意力机制来处理大型语言模型中日益增长的长上下文。一种方法，Runtime-Certified Bounded-Error Quantized Attention，使用分层 KV 缓存来压缩内存，同时保证回退到精确注意力，确保语言建模和检索等任务的质量。另一种方法，DashAttention，采用可微分稀疏分层注意力来适应性地选择相关 token，以与全注意力相当的准确性实现高稀疏度，并提供优于现有分层方法的性能。…