研究人员开发了 DataFoundry,一个旨在提高大型语言模型训练数据质量的新颖框架。与在生成后过滤数据的传统方法不同,DataFoundry 通过递归自我改进来专注于演进数据准备过程本身。该框架利用了模块化技能(Skills-as-Modules)架构,其中控制器管理模块化技能以创建可执行运行时,使用试点数据集识别缺陷,并根据诊断反馈优化准备组件。在数学、金融、法律和医学等各个领域的 DataPrep-Bench 上进行的评估表明,与基线方法相比,DataFoundry 生成的数据在下游应用中具有更高的效用。 AI
影响 提高了 LLM 训练数据的质量,可能导致在各个领域中更强大、更可靠的模型。
排序理由 这是一篇详细介绍 LLM 数据准备新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- DataPrep-Bench
- Gotit.pub
- Hugging Face
- ScienceCast
- Skills-as-Modules
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →