Navdeep Jaitly
PulseAugur coverage of Navdeep Jaitly — every cluster mentioning Navdeep Jaitly across labs, papers, and developer communities, ranked by signal.
-
苹果研究人员提出PathMoE，以实现更高效的稀疏AI模型
苹果公司的研究人员推出了一种名为PathMoE的新型专家混合（MoE）模型方法。该方法通过“专家路径”来观察计算过程，专家路径是指token在跨层选择专家的序列。研究发现，token倾向于集中在少量可能的路径上，这表明当前MoE架构存在统计效率低下问题。PathMoE旨在通过约束有效路径空间来放大这种自然的集中趋势，从而在困惑度（perplexity）和下游任务上实现比独立路由方法更一致的路由和更好的性能。
-
Apple 和 Cohere 通过专用高效模型推进 ASR
Apple 的机器学习研究团队开发了一种使用紧凑型 seq2seq 模型进行自动语音识别 (ASR) 错误纠正的新方法。这些模型在真实和合成 ASR 错误上进行训练，在效率和准确性方面，尤其是在低错误场景下，显著优于大型语言模型 (LLM)。与此同时，Cohere 推出了 Transcribe，一个拥有 20 亿参数的 ASR 模型，据报道其在速度和精度方面，尤其是在阿拉伯语方言方面，超越了 Whisper Large V3。
-
苹果研究人员通过新的解码技术推进扩散语言模型
苹果的机器学习研究部门发表了几篇论文，详细介绍了扩散语言模型（dLLMs）的进展。与自回归模型相比，这些模型通过并行解码多个 token，有可能实现更快的推理。研究包括探索用于口语模型的连续扩散、通过残差上下文扩散（RCD）提高 dLLM 的效率，以及使用强化学习训练解遮蔽策略。其他工作则侧重于通过专家产品（PoE）等技术弥合扩散模型和自回归模型之间的差距，并开发统一不同解码策略的混合模型。