DeepSeekMoE: Towards ultimate expert specialization in mixture-of-experts language models
PulseAugur coverage of DeepSeekMoE: Towards ultimate expert specialization in mixture-of-experts language models — every cluster mentioning DeepSeekMoE: Towards ultimate expert specialization in mixture-of-experts language models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
全球市场因人工智能、石油和法国政治困境而下跌；DeepSeek API 提供有竞争力的定价
全球市场出现下滑，标普 500 指数和纳斯达克指数等主要指数因对人工智能、石油价格和法国政治不稳定的担忧而大幅下跌。包括人工智能云服务提供商 CoreWeave 和 Meta 在内的科技股均出现显著下跌。另外，DeepSeek API 正在为其先进的专家混合（Mixture-of-Experts）和推理模型提供有竞争力的定价，可能通过更低的代币成本和上下文缓存等功能扰乱市场。
-
MoE语言模型通过路由显示有限的刻板印象控制
一篇新的研究论文探讨了通过调整路由机制来控制混合专家（MoE）语言模型中刻板印象的方法。该研究引入了公平感知路由均衡（FARE）框架来诊断和潜在地减轻人口统计学偏见。然而，在包括DeepSeekMoE、Qwen1.5和Mixtral在内的五种MoE架构上的实验表明，所测试的重加权程序在减少刻板印象表达方面取得的成功有限，在偏好分数和毒性指标方面观察到的变化很小。
-
开发者用免费 GPU 从零开始构建了一个小型的 1.88 亿参数混合专家模型
VisionQuantech 的创始人 Shivam Kumar 详细介绍了如何仅使用免费的 Nvidia T4 GPU 构建一个小型、拥有 1.88 亿参数的混合专家（MoE）语言模型的流程。他采用了一种名为 Main Researcher System v4 的方法，该方法涉及从现有研究中提取 MoE 原始概念和元模式，使用 TRIZ 原理解决矛盾，并利用组合引擎筛选潜在架构。由此产生的模型 DeepSeekMoE-tiny，在计…
-
新的MI-PEFT框架增强了嗜酸性蛋白质分类能力
研究人员推出了一种新颖的参数高效微调框架MI-PEFT，旨在改进嗜酸性蛋白质的分类。该方法将混合专家方法与ESM C-600M蛋白质语言模型骨干相结合，并利用基于LoRA的技术进行高效微调。MI-PEFT解决了数据集中的类别不平衡等挑战，在识别嗜酸性蛋白质和保留关键预训练表示方面表现出有效性。
-
新研究探索专家混合模型的先进路由技术 · 跟踪 4 个来源
研究人员正在探索新的方法来提高专家混合（MoE）模型的性能和专业化。一种方法侧重于对齐不同层之间路由状态的几何结构，以揭示共享的底层动态，从而提高预测能力。另一种方法，对比路由机制（CoRM），使用针对指数移动平均的对比方法来集中路由信号，从而实现更好的专家专业化和在推理基准上的准确性提升。第三篇论文为理解 MoE 架构提供了一个统计框架，分析了近似、专家学习和路由器估计之间的权衡，并解释了共享专家如何捕获常见的预测结构。
-
OmniMoE 引入原子专家，实现更快、更准确的 MoE 模型
研究人员推出了一种新颖的混合专家（MoE）架构 OmniMoE，旨在提高效率和性能。OmniMoE 利用向量级原子专家和共享的密集 MLP 分支来最大化容量并保持可扩展性。该框架包含一个笛卡尔积路由器以降低复杂性，以及一个以专家为中心的调度器以优化内存访问，将分散查找转换为密集矩阵运算。在七个基准测试中，OmniMoE 展现出优越的零样本准确率，并显著降低了与现有 MoE 模型相比的推理延迟。
-
新的MoE架构提升效率和性能
研究人员正在开发先进技术来改进专家混合（MoE）模型，特别关注解决领域转换和推理效率方面的挑战。一种受自由能原理和脉冲神经网络启发的方法，引入了时间记忆和预期路由，以显著增强领域转移期间的专家选择。其他研究则侧重于通过运行时感知调度框架和新颖的内核配置来优化MoE推理，以最大化吞吐量。此外，还在探索新的方法来管理异构专家大小并在微调过程中保留较少使用的专家的知识，旨在提高性能和资源利用率。