Gated Delta Networks
PulseAugur coverage of Gated Delta Networks — every cluster mentioning Gated Delta Networks across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
DeltaFlow 推出噪声自适应网络以实现高效语言去噪
研究人员开发了 DeltaFlow，这是一种新颖的噪声自适应双向门控 Delta 网络，专为高效的连续语言去噪而设计。这种新架构旨在克服嵌入式语言流中全非因果注意力相关的计算成本。DeltaFlow 提供两种变体，DeltaFlow-A 和 DeltaFlow-P，与现有基线相比，它们降低了困惑度并提高了吞吐量，证明了其作为语言去噪任务的有效替代方案的潜力。
-
DeltaFlow 推出噪声自适应双向网络，实现高效语言去噪
研究人员开发了 DeltaFlow，一种新颖的噪声自适应双向门控 Delta 网络 (GDN)，旨在提高嵌入式语言流 (ELF) 的效率。与使用昂贵非因果注意力的传统 ELF 不同，DeltaFlow 提供了一种循环替代方案。引入了 DeltaFlow-A 和 DeltaFlow-P 两个变体，其中 DeltaFlow-P 在 OpenWebText 数据集上展示了困惑度降低和显著的吞吐量加速。
-
开源AI中Transformer注意力机制的演进
自诞生以来，Transformer架构的注意力机制经历了显著的演进，众多创新为更高效、更强大的大型语言模型做出了贡献。FlashAttention、多查询注意力（MQA）、分组查询注意力（GQA）和滑动窗口注意力（SWA）等创新极大地降低了内存需求并提高了推理性能。最新的进展，包括门控Delta网络（GDNs）等线性注意力变体和原生稀疏注意力（DSA）等稀疏注意力方法，正在进一步拓展边界，许多开源模型都采用了这些技术。
-
新型AI模型应对异常检测挑战
异常检测领域的最新研究探索了新颖的架构和技术，以提高性能和效率。Patched-DeltaNet通过将打补丁与门控Delta网络相结合，旨在降低时间序列异常检测的计算复杂性，取得了较高的ROC-AUC和PA-F1分数。TailedCore通过独立处理尾部类别和噪声来解决噪声长尾数据集中的无监督异常检测问题，其性能优于最先进的方法。EntroAD引入了一个结构熵引导框架用于零样本异常检测，使用动态路由来处理不同类型的异常，并在工业和医疗…