Perplexity 和 NVIDIA 开发了 JOLT,一种新颖的训练后技术,它使用单个模型同时充当教师和学生。该方法通过允许教师模型基于特权上下文提供反馈来提高效率,从而显著减少所需的训练 token。JOLT 已展示出强大的性能,在 MATH 数据集上以少 6.5 倍的 token 实现了与 GRPO 相当的准确率,并在 AppWorld 上达到了 72.09% 的通过率。 AI
影响 该方法可以显著降低训练先进 AI 模型的计算成本。
排序理由 该集群描述了一种新的 AI 模型训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →