实体 LinMix

LinMix

PulseAugur coverage of LinMix — every cluster mentioning LinMix across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_327136 · Oct 28 · 04:00

LinMix 方法优化语言模型预训练数据混合

研究人员开发了 LinMix，一种用于优化语言模型预训练数据领域混合的新颖方法。与依赖广泛的代理模型训练和回归的传统方法不同，LinMix 将问题视为领域归因。它在有上限的单纯形上采用无超参数的顶点采样策略，该策略可以去相关领域效应，并使线性模型能够直接识别具有积极贡献的领域。使用 OLMo2 和 Qwen 3.5 模型进行的实验表明，LinMix 在 MBPP 和 GSM8K 等基准测试上的表现显著优于现有方法，在准确性方面比非线性…