研究人员开发了MIRA，一个用于大型语言模型开发中期训练阶段选择数据的新框架。该方法通过发现和应用特定来源的质量标准来应对异构数据源的挑战。MIRA使用前沿教师模型来识别评估标准，将其提炼为学生评分器，然后过滤数据以平衡可扩展性和语义准确性，在代码相关基准测试中表现优于其他选择方法。 AI
影响 通过优化数据选择以提高特定能力方面的性能，从而提高LLM训练效率。
排序理由 该集群描述了一篇关于LLM数据选择新框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →