Navdeep Jaitly
PulseAugur coverage of Navdeep Jaitly — every cluster mentioning Navdeep Jaitly across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
苹果研究人员提出PathMoE，以实现更高效的稀疏AI模型
苹果公司的研究人员推出了一种名为PathMoE的新型专家混合（MoE）模型方法。该方法通过“专家路径”来观察计算过程，专家路径是指token在跨层选择专家的序列。研究发现，token倾向于集中在少量可能的路径上，这表明当前MoE架构存在统计效率低下问题。PathMoE旨在通过约束有效路径空间来放大这种自然的集中趋势，从而在困惑度（perplexity）和下游任务上实现比独立路由方法更一致的路由和更好的性能。
-
Apple 开发用于自动语音识别错误纠正的专用模型
Apple 的机器学习研究部门开发了用于自动语音识别 (ASR) 错误纠正的专用、紧凑型序列到序列 (seq2seq) 模型。这些模型在真实和合成的 ASR 错误上进行了训练，在 LibriSpeech 等基准测试中实现了更低的词错误率，表现优于大型语言模型 (LLM)。该方法侧重于效率，使用的参数比 LLM 少 15 倍，并展示了跨不同 ASR 架构和领域的泛化能力，尤其在 LLM 表现不佳的低错误纠正场景中表现出色。
-
Apple 研究人员探索用于语音和并行生成的扩散模型
Apple 的研究人员发布了关于连续扩散口语模型（SLM）的发现，表明这些模型表现出与自回归模型相似的缩放定律。虽然通过大量的对话数据实现高参数量（高达 160 亿）可以生成富有情感和多语言的语音，但长篇连贯性仍然是一个挑战。同时，其他研究正在通过改进的采样策略、残差上下文机制和自适应训练策略来增强扩散语言模型（DLM），以解决训练-推理不匹配问题并优化服务效率。