PulseAugur
中
实时 10:17:45
English(EN) Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting

新的 LLM 预训练方法提高了知识和数学任务的性能

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为 LARE（固定曝光下的损失自适应重加权）的新方法来改进大型语言模型的预训练。该技术通过根据运行损失统计数据重加权不同数据域的贡献来调整它们对学习的影响，而不是改变暴露数据的数量。在 240B 词元上训练的 1.5B 参数模型进行的实验表明，在知识、数学和代码基准测试中取得了显著的收益，包括在 GSM8K 上 +17.06 pp 的显著改进。LARE 表明，优化域损失尺度可以在不增加数据暴露的情况下增强联合能力。 AI

影响 该方法可能导致更高效、更有效的 LLM 训练，在不增加数据暴露的情况下提高专业任务的性能。

排序理由 详细介绍 LLM 预训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 LLM 预训练方法提高了知识和数学任务的性能

本文如何被排名

Signal score
12 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
详细介绍 LLM 预训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Jiazheng Li, Huaqing Zhang, Jing Xu, Tianle Cai, Jingzhao Zhang ·

    超越数据调度：通过损失重加权在数据混合物上进行快速LLM预训练

    arXiv:2610.32141v1 Announce Type: cross Abstract: Large language models often acquire specialized capabilities through successive pretraining stages, but these gains can come at the cost of forgetting earlier knowledge. In this work, we investigate whether such trade-offs can be …

相关实体

相关话题