Cascade RL
PulseAugur coverage of Cascade RL — every cluster mentioning Cascade RL across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
小米MOPD范式彻底改变LLM多专家集成 · 跟踪1个来源
多教师在线策略蒸馏(MOPD)范式由小米MiMo团队于2026年6月推出,解决了将多个专家能力集成到单个大型语言模型中而不降低性能的挑战。MOPD将领域特定专家教师的开发解耦,并使用学生模型的在线路由机制,从相关的冻结教师那里接收密集的、token级别的监督。这种方法已被Nvidia的Nemotron模型等行业参与者以及其他领先的AI实验室迅速采用,并产生了许多旨在进一步提高其稳定性和有效性的变体。
-
Nemotron Labs 发布统一音频-文本大模型 Audex
Nemotron Labs 推出了 Audex (Nemotron-Labs-Audex-30B-A3B),一个统一的音频-文本大语言模型。Audex 基于 Nemotron-Cascade-2-30B-A3B 纯文本模型构建,使用单个 Transformer 解码器无缝处理和生成音频与文本。该模型在包含 1574 亿音频 token 和 3205 亿文本 token 的大型数据集上进行了训练,并结合了监督训练和强化学习技术。Aude…
-
新的MOPD技术可高效集成多种LLM能力
研究人员推出了一种新颖的训练后技术——多教师在线策略蒸馏(MOPD),旨在高效地将多种能力集成到大型语言模型(LLMs)中。该方法解决了融合多样化技能的挑战,通过将专门的强化学习教师蒸馏到学生模型中,其表现优于Mix-RL和Off-Policy Finetune等现有方法。MOPD已成功应用于包括MiMo-V2-Flash在内的工业级模型,证明了其实用性。