PulseAugur
中
实时 21:06:25
实体 DeepSeek-V2-Lite

DeepSeek-V2-Lite

PulseAugur coverage of DeepSeek-V2-Lite — every cluster mentioning DeepSeek-V2-Lite across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
10
90 天内 20
发布 · 30天
0
90 天内 0
论文 · 30天
9
90 天内 19
层级分布 · 90 天
主题
情绪 · 30 天

6 天有情绪数据

LAB BRAIN
observation expired 置信度 0.75

DeepSeek-V2-Lite shows resilience to expert pruning via SHAPE framework

The SHAPE framework, which models expert coalitions for pruning MoE LLMs, was successfully applied to DeepSeek-V2-Lite. The evidence suggests that DeepSeek-V2-Lite can withstand significant pruning using this method without substantial accuracy loss, indicating a robust architecture or effective expert redundancy.

hypothesis expired 置信度 0.60

DeepSeek-V2-Lite's MoE architecture may inherently support expert redundancy

Given that DeepSeek-V2-Lite was effectively pruned by the SHAPE framework without significant accuracy loss, it is hypothesized that its Mixture-of-Experts architecture may be designed with a degree of inherent expert redundancy. This would explain why pruning methods that consider expert coalitions are successful, as the model can compensate for removed experts.

hypothesis expired 置信度 0.55

Future MoE pruning research will focus on coalition-based methods like SHAPE

The success of the SHAPE framework in pruning MoE LLMs, including DeepSeek-V2-Lite, suggests a shift in research focus. Future work in MoE pruning is likely to move away from independent expert evaluation towards methods that model expert interactions and coalitions, as this appears to be more effective for maintaining performance.

查看全部假设 →

最近 · 第 1/1 页 · 共 20 条
  1. RESEARCH · CL_360183 ·

    新研究探讨LLM推理优化、批处理和可复现性

    多篇研究论文和项目正在探索优化大型语言模型(LLM)推理的高级技术,特别关注效率和可扩展性。一篇论文介绍了BatchGen,一种用于批推理的架构,它使用序列协程计算模型来处理可变工作负载并提高GPU利用率。另一项研究“沉默的超参数”(The Silent Hyperparameter)量化了vLLM、SGLang和llama.cpp等不同的推理后端如何显著影响LLM基准测试结果和可复现性。此外,还在研究用于NVIDIA Blackwe…

  2. RESEARCH · CL_344400 ·

    ZYFA 将 AMD MI355X FP8 FlashAttention 速度提升高达 1.99 倍

    研究人员开发了 ZYFA,这是一套用于 AMD Instinct MI355X GPU 的新型预填充注意力核函数,它利用 FP8 精度来提高速度和精度。ZYFA 采用了新颖的技术,包括简化的概率计算和优化的调度方法,以克服 FP8 矩阵指令加速和矩阵完成硬件跟踪方面的限制。这使得吞吐量相比 AMD 的原生 AITER 核函数有了显著提升,数值误差与 Composable Kernel 和 Triton 等成熟库相当。

  3. TOOL · CL_341972 ·

    新的 SafeStart 方法在更快的 MoE LLM 服务中恢复安全性

    研究人员开发了 SafeStart,一种新的方法来缓解优化混合专家(MoE)语言模型以实现更快服务所带来的安全风险。虽然减少每个 token 使用的专家数量可以显著加快模型推理速度,但它也可能导致模型拒绝有害请求的能力下降。SafeStart 通过对初始提示和前几个生成 token 运行所有专家,然后恢复到减少的专家集来解决这个问题。这种方法在保留大部分加速效果的同时,在很大程度上恢复了模型的拒绝能力,表明 MoE 服务中的效率提升不…

  4. RESEARCH · CL_338465 ·

    新的剪枝方法大幅降低MoE LLM内存占用 · 跟踪2个来源

    研究人员开发了新的方法来剪枝混合专家(MoE)模型,以减小其巨大的内存占用。一种方法,模态感知专家剪枝(MAEP),通过区分视觉与语言处理角色的专家重要性,专门针对多模态大型语言模型(MLLM)。另一种方法,保留结构专家剪枝,将剪枝重新表述为子集选择问题,提出投影能量专家剪枝(PEEP)和分布覆盖专家剪枝(DCEP)等技术来维持专家输出的功能子空间和分布几何。实验表明,这些剪枝策略可以在保持各种基准测试的竞争性性能的同时,显著减小模型尺寸。

  5. RESEARCH · CL_336236 ·

    新研究探讨MoE专家剪枝,引入“倾斜新手”算子

    一篇新研究论文探讨了用于混合专家(MoE)模型的训练无关专家剪枝技术,重点关注如何处理被剪枝的专家以及路由语义。该研究比较了Olmoe、DeepSeek-V2-Lite和Moonlight等模型上的各种替换算子,发现存活专家的门控(gate)的缩放对性能有显著影响。研究人员引入了一种“倾斜新手”(tilted novice)算子,它是被剪枝专家输入的低秩映射,与简单的常数替换相比,它在参数开销极小的情况下提供了改进,尽管没有一个算子在…

  6. TOOL · CL_327207 ·

    新的投机解码方法优化了混合专家模型

    研究人员开发了一种用于混合专家(MoE)模型的新型投机解码方法,重点优化专家字节请求和内核带宽。他们的方法旨在通过在单次验证过程中去重专家调用,而不是单独处理每个 token,来降低计算成本。该研究推导了去重比标准解码更快的理论条件,并在使用 CUDA 和 Metal 等框架的 DeepSeek-V2-Lite 等模型上进行了实证验证。

  7. TOOL · CL_314922 ·

    Perplexity 和 NVIDIA 发布 JOLT,用于高效的 LLM 后训练

    来自 Perplexity 和 NVIDIA 的研究人员开发了 JOLT,一种用于语言模型的创新后训练方法,该方法使用单个模型同时充当教师和学生。这种方法使用特权信息训练教师,而学生则在没有这些信息的情况下学习,但至关重要的是,教师也经过训练以确保其反馈保持相关性。JOLT 在 MATH 数据集上以 GRPO 准确率相匹配,但处理的训练 token 减少了 6.5 倍,并在 AppWorld 和 LiveCodeBench v6 等各…

  8. TOOL · CL_307878 ·

    MoE 模型预填充优化损害短问答 F1 损失

    一篇新的研究论文探讨了在预填充阶段减少专家混合(MoE)模型中所用专家数量的性能影响。研究发现,虽然这种技术可以降低服务成本,但它会严重影响短问答的准确性,尤其是在关键提示词由较少专家处理时。研究表明,将这些少数全专家提示词策略性地放置在提示词的开头或结尾,可以减轻大部分性能下降。

  9. TOOL · CL_280272 ·

    MaskCoFT 微调提升 MoE 模型推理效率

    研究人员开发了 MaskCoFT,一种旨在提高专家混合(MoE)语言模型在推理过程中效率的新型微调方法。该技术同时训练模型的路由器和专家,使它们能够相互适应。通过使用可学习的掩码来限制专家选择,MaskCoFT 减少了每个 token 的专家获取次数,并显著缩短了输出生成所需的时间。该方法在多个基准测试中保持了高准确性,证明了其在内存受限环境中优化 MoE 模型的有效性。

  10. TOOL · CL_277202 ·

    新的 MoRA 框架剪枝 MoE 模型,提高效率和性能

    研究人员开发了 MoRA,一个新颖的框架,用于剪枝混合专家(MoE)模型,以减少内存使用而不显著影响性能。MoRA 引入了可学习的路由器偏差来锐化路由概率并鼓励专家多样性,以及一个专家近似机制来进一步增强剪枝后的模型。在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 Moonlight-16B-A3B 上的实验表明,MoRA 在九个零样本基准测试中优于现有的剪枝方法。

  11. RESEARCH · CL_251989 ·

    新工具和研究致力于 GPU AI 工作负载的优化

    多篇研究论文和一个新的开源工具解决了在 GPU 上优化 AI 工作负载的挑战。COMPASS-ABS 旨在减少深度学习训练共享 GPU 集群中的碎片化,提高资源利用率和作业完成时间。研究人员还开发了自适应框架,如用于商品 GPU 上高效长上下文推理的 Tri-Metric Router 和使用数据流不变性进行代理 GPU 优化的 Ave。此外,mKernel 和 AttnFuse 分别专注于为多 GPU 系统和注意力机制创建快速、融合…

  12. RESEARCH · CL_227114 ·

    新研究探索用于效率的先进大模型量化技术

    几篇新研究论文探索了用于量化大语言模型(LLM)以提高部署效率的先进技术。REAL-Q 引入了一种动态梯度下降方法,以最小化端到端 KL 散度,在 LLaMA-3.1 和 Qwen3 上显示出显著的改进。HBQ 提出了一种具有有效数字缩放的分层方法,以最大化硬件效率和准确性,优于现有方法。Q-Strata 专注于混合精度量化,用于专家混合模型,优化专家之间的比特分配。另一篇论文研究了量化损伤的结构,表明全局比特分配通常优于局部修复,而…

  13. RESEARCH · CL_193811 ·

    新研究解耦专家混合模型的路由与聚合以提升性能

    研究人员正在探索优化稀疏专家混合(MoE)模型的新方法,超越传统手段。一项研究引入了MOSAIC框架,该框架整合了架构和系统协同设计,通过考虑硬件约束和算法选择来提高模型效率和性能。另一篇论文研究了解耦MoE路由器中专家调度(选择)和聚合(加权)的角色,提出了一种可以独立优化的后计算头,以增强语言建模目标。

  14. TOOL · CL_191180 ·

    新方法为稀疏 MoE 语言模型实现可审计的访问控制

    研究人员开发了一种名为策略掩码私有专家 (Policy-Masked Private Experts, PMPE) 的新方法,用于控制对稀疏专家混合 (MoE) 语言模型中特定参数的访问。该技术实现了可审计和可逆的访问控制,确保未经授权的请求无法执行私有专家参数。在 Qwen3-30B-A3B 和 DeepSeek-V2-Lite 等模型上的实验表明,PMPE 在有效防止未经授权的访问的同时,还能保持私有专家在授权使用下的效用,并在工…

  15. RESEARCH · CL_163913 ·

    新研究通过先进的推测解码技术提高LLM推理速度 · 追踪8个来源

    研究人员正在探索先进技术,通过推测解码来加速大型语言模型(LLM)的推理。"Functional Reconstruction"等新方法旨在通过优化注意力函数来提高草稿模型和目标模型之间的一致性,而"SparseSpec-L"则利用动态稀疏化的KV缓存和每头注意力统计数据来提高效率。其他工作重新审视了"lossy verification"以分析权衡和失败模式,并将方法分为基于截断和协作验证。此外,"AngelSpec"为不同的推测解…

  16. RESEARCH · CL_115713 ·

    新的注意力机制提升LLM效率并减少幻觉 · 跟踪10个来源

    研究人员正在开发新颖的注意力机制,以提高大型语言模型(LLM)和多模态大型语言模型(MLLM)的效率和能力。这些进展侧重于优化长上下文的稀疏注意力,降低计算成本,并减轻幻觉和视觉基础薄弱等问题。Flash Sparse Attention (FSA)、Information-Regularized Attention (IRA) 和 Multipole Semantic Attention (MuSe) 等技术旨在提高性能、降低延迟,…

  17. TOOL · CL_82524 ·

    SHAPE框架通过模拟专家联盟来剪枝MoE大语言模型

    研究人员开发了一个名为SHAPE的新框架,用于剪枝稀疏专家混合(MoE)大语言模型中的专家。与之前独立评估专家的旧方法不同,SHAPE考虑了MoE推理的协作性质,即专家以联盟的形式协同工作。该框架使用一种类似Shapley的归因方法来识别对高价值协作至关重要的专家,从而实现更有效的剪枝。在Qwen3-30B-A3B、GPT-OSS-20B和DeepSeek-V2-Lite等模型上的实验表明,即使剪枝高达40%的专家,SHAPE也能在不…

  18. RESEARCH · CL_82096 ·

    AI研究质疑专家混合模型中的专家重要性指标

    一篇新的研究论文调查了可解释性方法在专家混合(MoE)模型中的有效性。研究发现,用于预测哪些专家可以被移除而不影响性能的常用指标,与因果专家重要性并不可靠地相关。在三种不同的MoE架构中,观察性数据未能预测专家的可替代性,这表明当前的剪枝技术可能由于冗余而不是精确识别关键组件而成功。

  19. RESEARCH · CL_41759 ·

    新工具DODOCO揭示MoE模型调度基准测试中的缺陷

    一项新的研究论文介绍DODOCO,一个旨在诊断混合专家(MoE)模型调度操作中开销的工具。研究发现,关于基准测试中工作负载表示的常见假设以及系统层对路由不平衡的可纠正性是存在缺陷的。研究强调,模型架构,而非专家并行度,是决定性能区间的首要因素。

  20. TOOL · CL_25610 ·

    研究发现 MoE 模型在复杂推理任务上错误路由 token

    研究人员发现混合专家(MoE)语言模型中存在一个重大问题,即路由机制(将 token 指向特定专家)经常选择次优路径。虽然标准路由器在置信度高的 token 上表现良好,但在复杂推理任务上却无法识别出性能更好的路径。这种错误路由存在于包括 Qwen3、GPT-OSS、DeepSeek-V2 和 OLMoE 在内的几款主流 MoE 模型中。研究表明,即使对路由器进行微小的更新,而不改变专家本身,也能提高在具有挑战性的数学和推理基准测试上…