研究人员开发了 TraceForge,一种用于生成模拟目标模型推理风格的合成训练数据的新颖方法。该方法绕过了某些前沿 AI 实验室对其专有输出来进行训练的限制。TraceForge 使用两阶段的监督和对抗过程,从上下文和教师答案中创建推理轨迹,达到了很高的真实性分数。当应用于编码基准测试时,与使用教师模型自身的推理相比,使用 TraceForge 生成的数据进行训练显著提高了在 HumanEval+ 和 MBPP+ 上的性能。 AI
影响 通过合成目标模型的风格的推理轨迹,实现更高效、合法的 LLM 训练。
排序理由 该集群描述了一篇详细介绍用于 LLM 生成合成训练数据的新颖方法的最新研究论文。
- arXiv
- .claude
- generative pre-trained transformer
- Hugging Face
- HumanEval
- MBPP
- Qwen
- Qwen3.8-Max
- TraceForge
- Yan Wang
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →