实体
Gated Delta Networks
Gated Delta Networks
PulseAugur coverage of Gated Delta Networks — every cluster mentioning Gated Delta Networks across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
开源AI中Transformer注意力机制的演进
自诞生以来，Transformer架构的注意力机制经历了显著的演进，众多创新为更高效、更强大的大型语言模型做出了贡献。FlashAttention、多查询注意力（MQA）、分组查询注意力（GQA）和滑动窗口注意力（SWA）等创新极大地降低了内存需求并提高了推理性能。最新的进展，包括门控Delta网络（GDNs）等线性注意力变体和原生稀疏注意力（DSA）等稀疏注意力方法，正在进一步拓展边界，许多开源模型都采用了这些技术。
-
新型AI模型应对异常检测挑战
异常检测领域的最新研究探索了新颖的架构和技术，以提高性能和效率。Patched-DeltaNet通过将打补丁与门控Delta网络相结合，旨在降低时间序列异常检测的计算复杂性，取得了较高的ROC-AUC和PA-F1分数。TailedCore通过独立处理尾部类别和噪声来解决噪声长尾数据集中的无监督异常检测问题，其性能优于最先进的方法。EntroAD引入了一个结构熵引导框架用于零样本异常检测，使用动态路由来处理不同类型的异常，并在工业和医疗…