UltraX

UltraX框架通过自适应程序化编辑优化LLM预训练数据

研究人员推出UltraX，一个旨在优化大型语言模型（LLM）大规模预训练数据的新型框架。该系统通过专注于通过自适应程序化编辑来提高数据质量，解决了仅增加数据量带来的收益递减问题。UltraX通过实现细粒度的实例级编辑（包括插入、删除和修改）来提高数据利用率，并采用可靠的程序监督生成流程。实验表明，UltraX提高了数据效率和优化可靠性，与现有方法相比，在训练的token更少的情况下实现了高性能。