DeepSeek-V2-Lite
PulseAugur coverage of DeepSeek-V2-Lite — every cluster mentioning DeepSeek-V2-Lite across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
DeepSeek-V2-Lite shows resilience to expert pruning via SHAPE framework
The SHAPE framework, which models expert coalitions for pruning MoE LLMs, was successfully applied to DeepSeek-V2-Lite. The evidence suggests that DeepSeek-V2-Lite can withstand significant pruning using this method without substantial accuracy loss, indicating a robust architecture or effective expert redundancy.
DeepSeek-V2-Lite's MoE architecture may inherently support expert redundancy
Given that DeepSeek-V2-Lite was effectively pruned by the SHAPE framework without significant accuracy loss, it is hypothesized that its Mixture-of-Experts architecture may be designed with a degree of inherent expert redundancy. This would explain why pruning methods that consider expert coalitions are successful, as the model can compensate for removed experts.
Future MoE pruning research will focus on coalition-based methods like SHAPE
The success of the SHAPE framework in pruning MoE LLMs, including DeepSeek-V2-Lite, suggests a shift in research focus. Future work in MoE pruning is likely to move away from independent expert evaluation towards methods that model expert interactions and coalitions, as this appears to be more effective for maintaining performance.
-
新的注意力机制提升LLM效率并减少幻觉 · 跟踪10个来源
研究人员正在开发新颖的注意力机制，以提高大型语言模型（LLM）和多模态大型语言模型（MLLM）的效率和能力。这些进展侧重于优化长上下文的稀疏注意力，降低计算成本，并减轻幻觉和视觉基础薄弱等问题。Flash Sparse Attention (FSA)、Information-Regularized Attention (IRA) 和 Multipole Semantic Attention (MuSe) 等技术旨在提高性能、降低延迟，…
-
SHAPE框架通过模拟专家联盟来剪枝MoE大语言模型
研究人员开发了一个名为SHAPE的新框架，用于剪枝稀疏专家混合（MoE）大语言模型中的专家。与之前独立评估专家的旧方法不同，SHAPE考虑了MoE推理的协作性质，即专家以联盟的形式协同工作。该框架使用一种类似Shapley的归因方法来识别对高价值协作至关重要的专家，从而实现更有效的剪枝。在Qwen3-30B-A3B、GPT-OSS-20B和DeepSeek-V2-Lite等模型上的实验表明，即使剪枝高达40%的专家，SHAPE也能在不…
-
AI研究质疑专家混合模型中的专家重要性指标
一篇新的研究论文调查了可解释性方法在专家混合（MoE）模型中的有效性。研究发现，用于预测哪些专家可以被移除而不影响性能的常用指标，与因果专家重要性并不可靠地相关。在三种不同的MoE架构中，观察性数据未能预测专家的可替代性，这表明当前的剪枝技术可能由于冗余而不是精确识别关键组件而成功。
-
新工具DODOCO揭示MoE模型调度基准测试中的缺陷
一项新的研究论文介绍DODOCO，一个旨在诊断混合专家（MoE）模型调度操作中开销的工具。研究发现，关于基准测试中工作负载表示的常见假设以及系统层对路由不平衡的可纠正性是存在缺陷的。研究强调，模型架构，而非专家并行度，是决定性能区间的首要因素。
-
研究发现 MoE 模型在复杂推理任务上错误路由 token
研究人员发现混合专家（MoE）语言模型中存在一个重大问题，即路由机制（将 token 指向特定专家）经常选择次优路径。虽然标准路由器在置信度高的 token 上表现良好，但在复杂推理任务上却无法识别出性能更好的路径。这种错误路由存在于包括 Qwen3、GPT-OSS、DeepSeek-V2 和 OLMoE 在内的几款主流 MoE 模型中。研究表明，即使对路由器进行微小的更新，而不改变专家本身，也能提高在具有挑战性的数学和推理基准测试上…