DeepSeek Sparse Attention
PulseAugur coverage of DeepSeek Sparse Attention — every cluster mentioning DeepSeek Sparse Attention across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
IndexCache 削减 LLM 计算量，通过跨层重用 token 选择
研究人员开发了 IndexCache，一种通过减少大型语言模型中冗余计算来优化 DeepSeek Sparse Attention (DSA) 的方法。核心思想是模型中的相邻层通常选择相同的关键 token，使得每一层的索引器工作在很大程度上是冗余的。IndexCache 指定某些层为“完整”（F）层来计算和缓存 token 选择，而“共享”（S）层则重用这些缓存的选择，在不改变模型架构的情况下显著减少了计算量。
-
Fireworks AI 发布更快的 GLM 5.2 以支持代理工作流
Fireworks AI 推出了 GLM 5.2 Fast，这是一款专为代理工作流设计的模型，其运行速度比标准版本快 2-3 倍。这种增强的速度对于处理大上下文、编写计划和使用工具的代理至关重要，使其更加实用且具成本效益。该模型支持 100 万个 token 的上下文窗口，并具有优化的提示缓存功能，为重复使用的上下文提供显著折扣，这是代理操作中的主要成本因素。GLM 5.2 Fast 采用了一种特殊的架构，结合了混合专家模型 (MoE…
-
新方法通过投机解码提高 LLM 推理速度 · 跟踪 7 个来源
研究人员正在开发先进的投机解码技术来加速大型语言模型 (LLM) 推理。JetFlow 是一个新框架，通过结合草稿效率和因果条件，提高速度，在各种基准测试中实现显著加速。EfficientRollout 专注于通过使用系统感知型自我投机解码来加速强化学习的 rollout，适应不断变化的策略和系统条件以减少延迟。Nightjar 提供了一种资源感知型自适应方法，动态调整投机解码长度并在有利时禁用它，以在实时服务场景中最大化吞吐量。另外…
-
Hugging Face Transformers 添加 MiniMax-M3-VL、DeepSeek-V3.2 和 DiffusionGemma
Hugging Face Transformers 库已发布 5.12.0 版本，引入了 MiniMax-M3-VL 等新模型，这是一个具有 CLIP 式视觉塔和稀疏专家混合解码器的视觉语言模型。此次更新还包括对 PP-OCRv6（一个高效的 OCR 系统）和 Parakeet-RNNT（一个带有 RNN-T 解码器的快速 Conformer 编码器）的改进。此外，5.11.0 版本添加了 DiffusionGemma（一个用于更快文…
-
Kwai发布Keye-VL-2.0用于长视频理解
Kwai发布了Keye-VL-2.0-30B-A3B，这是一个开源的多模态基础模型，专为长视频理解和智能体智能而设计。该模型利用DeepSeek稀疏注意力处理高达256K的上下文，捕捉长达一小时视频中的关键帧和时间依赖性。它还结合了跨模态多教师策略内蒸馏，以增强各种场景下的多任务对齐和智能体协作。评估显示在视频理解和时间定位基准测试中取得了最先进的性能。
-
AI 生产系统通过新的优化技术应对 MoE 挑战
SemiAnalysis 正在强调大规模 AI 模型（尤其是专家混合 (MoE) 架构）的生产系统挑战。他们指出，专家平衡和为不同工作负载分配专用资源等技术正从学术研究转向实际应用。稀疏注意力机制，以前仅限于基准测试，现在正被应用于生产系统，并引用了 DeepSeek Sparse Attention 和 NousResearch 的工作等示例。
-
解耦安全适配器提供高效的AI防护栏和灵活的对齐
研究人员开发了Disentangled Safety Adapters (DSA)，一个旨在提高AI安全性和对齐性而又不牺牲推理效率或灵活性的新框架。DSA通过使用轻量级适配器与基础模型的现有表示集成，从而能够以最小的性能影响实现多样化的安全功能。实验表明，基于DSA的防护栏在仇恨言论检测和幻觉减少等任务上显著优于同等大小的独立模型，而基于DSA的对齐则实现了安全与性能权衡的动态、细粒度控制。
-
欧盟推出 AI Resources 网站，包含词汇表和九项数字法案的交叉引用
一个名为 AI resources.eu 的新网站已上线，作为欧盟数字监管环境的开放式、双语参考。该网站目前详细介绍了九项关键法案，包括 AI Act 和 GDPR，并提供它们之间的交叉引用。此外，还添加了一个更新的、以 AI 为中心的词汇表，包含 80 个双语条目，将术语与其在法案中的出现之处进行链接。
-
DeepSeek V3.2 模型引入稀疏注意力以改进长上下文处理
DeepSeek 推出了其 V3.2 模型，集成了 DeepSeek Sparse Attention (DSA)。这项创新将注意力复杂度从 O(L²) 降低到 O(Lk)，显著提高了长上下文处理的效率。该模型的架构还利用了 Lightning Indexer 以获得进一步的性能提升。
-
MiniMax 2.7: GLM-5 以三分之一成本达到 SOTA 开源模型
MiniMax 发布了 MiniMax 2.7，这是一个开源模型，在多项基准测试中性能与 Z.ai 的 GLM-5 相当，但成本却显著降低。该模型以其效率著称，并声称是第一个深度参与自身演进的模型，处理了其工作流程的一部分。MiniMax 还在探索多智能体协作和金融用例，并发布了一个名为 OpenRoom 的开源娱乐应用演示。