PulseAugur
中
实时 19:23:11
English(EN) DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

DataOrchestra框架优化LLM预训练数据处理

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出DataOrchestra，一个旨在优化大型语言模型（LLM）预训练数据处理的新框架。与应用统一处理策略的现有方法不同，DataOrchestra动态地编排一个逐示例的管道，决定是丢弃、保留还是清理每个数据块。对于清理，它选择特定的操作并为工具模型生成指令，在从头开始预训练模型时，在多个基准测试中实现了稳定的性能提升。这种方法对于数学持续预训练等专业任务也同样有效，通过跳过不必要的处理步骤，其性能优于更强的基线模型，同时降低了计算成本。 AI

影响 该框架通过针对单个示例定制数据处理，有望实现更高效、更有效的LLM训练。

排序理由 该集群包含一篇学术论文，详细介绍了LLM数据处理的新框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

DataOrchestra框架优化LLM预训练数据处理

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu ·

    DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

    arXiv:2607.24717v1 Announce Type: cross Abstract: Pretraining data processing is critical to the downstream performance of Large Language Models (LLMs). However, many existing approaches define a fixed processing strategy at the corpus or domain level and apply it uniformly to ma…

相关实体

相关话题