研究人员开发了 TraceForge,这是一种用于为 AI 模型生成推理轨迹的新颖方法,尤其是在无法直接从教师模型进行推理或受到限制时。该技术涉及一个两阶段的训练过程,其中生成器学习模仿学生模型的推理风格,而批评者评估这些轨迹的真实性。TraceForge 在独立评分中达到了 0.68 的平均真实性得分,优于真实轨迹(0.66)。当应用于编码基准测试时,与使用教师模型自身的推理相比,TraceForge 生成的推理在 HumanEval+ 上将性能提高了 3.7 分,在 MBPP+ 上提高了 7.1 分。 AI
影响 通过在直接访问受限时生成推理轨迹,从而能够更有效地蒸馏 AI 模型,有可能提高在编码等特定任务上的性能。
排序理由 该集群描述了一篇详细介绍生成 AI 推理轨迹的新颖方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →