研究人员推出了一种新的框架QAQ,用于选择用于训练代码生成模型的高质量合成数据。与现有方法评估模型从查询生成答案的难易程度不同,QAQ评估答案预测查询的程度。这种双向语义连贯性方法使用反向互信息(RMI)来识别有效且具有挑战性的数据,从而减少噪声和幻觉。实验表明,使用QAQ选择25%的数据就可以在代码生成和数学推理任务上达到全数据训练的性能,并且优于其他数据选择方法。 AI
影响 该方法可以在不牺牲性能的情况下降低训练AI模型的计算成本。
排序理由 该集群包含一篇学术论文,详细介绍了AI中合成数据选择的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Instruction-Following Difficulty (IFD)
- Lei Jiayin
- Magpie-Qwen2.5-Coder-Pro-300K
- OpenR1-Math-220k
- QAQ
- Reverse Mutual Information (RMI)
- WarriorCoder
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →