English(EN) LinMix: Data Mixing as Linear Domain Attribution

LinMix 方法优化语言模型预训练数据混合

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-28 04:00

研究人员开发了 LinMix，一种用于优化语言模型预训练数据领域混合的新颖方法。与依赖广泛的代理模型训练和回归的传统方法不同，LinMix 将问题视为领域归因。它在有上限的单纯形上采用无超参数的顶点采样策略，该策略可以去相关领域效应，并使线性模型能够直接识别具有积极贡献的领域。使用 OLMo2 和 Qwen 3.5 模型进行的实验表明，LinMix 在 MBPP 和 GSM8K 等基准测试上的表现显著优于现有方法，在准确性方面比非线性基线平均提高了 11%。 AI

影响优化预训练数据混合，有望在各种基准测试中实现更高效、更准确的语言模型。

排序理由该集群包含一篇研究论文，详细介绍了语言模型预训练中数据混合的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇研究论文，详细介绍了语言模型预训练中数据混合的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Hubert Baniecki, Przemyslaw Biecek, Martin Pawelczyk · 2026-10-28 04:00

LinMix：数据混合作为线性域归因

arXiv:2610.37390v1 Announce Type: cross Abstract: Language model performance depends strongly on the mixture of domains in the pretraining data corpus. Popular data mixing methods select these domain weights by training many small proxy models on random mixes and then fitting a r…

本文如何被排名

报道来源 [1]

LinMix：数据混合作为线性域归因

相关实体

相关话题