研究人员开发了ExLabel，一个旨在提高用于软件工程任务中大型语言模型（LLMs）训练和评估的数据集质量的AI驱动系统。ExLabel使用一个演进的经验库来指导其对任务清晰度和测试覆盖率的评估，其灵感来源于人类标注者如何做出上下文感知的判断。该系统使用SWE-TQ进行评估，SWE-TQ是一个从现有数据集的清理标注中创建的新基准，并在多种编程语言上展现出优于基线方法的性能。此外，一个在ExLabel过滤的数据上进行微调的编码模型在其解决现实世界软件问题的能力方面表现出显著提升。 AI
影响 通过提高训练数据质量，提升AI在软件工程任务中的可靠性和有效性。
排序理由 介绍AI软件工程领域数据集质量评估新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
