Compressed Sparse Attention
PulseAugur coverage of Compressed Sparse Attention — every cluster mentioning Compressed Sparse Attention across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
DeepSeek发布V4模型，支持1M上下文和MoE架构
DeepSeek发布了其DeepSeek-V4系列混合专家（MoE）语言模型的预览版，包括DeepSeek-V4-Pro（1.6T参数）和DeepSeek-V4-Flash（284B参数）。这两个模型都支持前所未有的百万级token上下文长度，这得益于混合注意力架构和优化的残差连接方法。这些模型在超过32万亿token上进行训练，在长上下文场景中展现出显著的效率提升，与前代模型相比，DeepSeek-V4-Pro在推理时所需的FLOP…
-
DeepSeek-V4采用新颖的路由和奖励方法进行训练
DeepSeek-V4引入了新颖的训练技术，包括“预期路由”（Anticipatory Routing），通过使用旧权重进行路由决策来稳定训练；以及“生成奖励模型”（GRM），在该模型中，模型本身充当复杂任务的裁判。该模型还支持三种不同的推理模式（非思考、高思考、最大思考），并针对不同的推理深度进行了不同的配置训练。这些进步凸显了对灵活、可编程的训练基础设施的需求，这种基础设施能够适应复杂的、共同设计的模型和运行时系统。
-
Qwen发布27B多模态模型，用于高级编码
Qwen发布了Qwen3.6-27B，这是一款为高级编码任务设计的、参数量为270亿的密集多模态模型。该模型旨在提供旗舰级的智能体编码性能，超越了该类别中先前的开源模型。社区成员已在Hugging Face上提供了Qwen3.6-27B的各种量化版本，方便其在不同平台和库中使用。