实体
Jason Ramapuram
Jason Ramapuram
PulseAugur coverage of Jason Ramapuram — every cluster mentioning Jason Ramapuram across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
苹果研究人员提出PathMoE，以实现更高效的稀疏AI模型
苹果公司的研究人员推出了一种名为PathMoE的新型专家混合（MoE）模型方法。该方法通过“专家路径”来观察计算过程，专家路径是指token在跨层选择专家的序列。研究发现，token倾向于集中在少量可能的路径上，这表明当前MoE架构存在统计效率低下问题。PathMoE旨在通过约束有效路径空间来放大这种自然的集中趋势，从而在困惑度（perplexity）和下游任务上实现比独立路由方法更一致的路由和更好的性能。
-
苹果研究人员通过新的解码技术推进扩散语言模型
苹果的机器学习研究部门发表了几篇论文，详细介绍了扩散语言模型（dLLMs）的进展。与自回归模型相比，这些模型通过并行解码多个 token，有可能实现更快的推理。研究包括探索用于口语模型的连续扩散、通过残差上下文扩散（RCD）提高 dLLM 的效率，以及使用强化学习训练解遮蔽策略。其他工作则侧重于通过专家产品（PoE）等技术弥合扩散模型和自回归模型之间的差距，并开发统一不同解码策略的混合模型。