实体
Doremi
Doremi
PulseAugur coverage of Doremi — every cluster mentioning Doremi across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
RegMix-D 通过动态数据混合推进 LLM 预训练
研究人员推出了 RegMix-D，这是 RegMix 方法在大型语言模型预训练中选择数据混合方面的一项改进。RegMix-D 利用代理运行的完整损失轨迹，而不是仅仅依赖端点损失，来在整个训练过程中动态调整数据混合。这种方法可以离线或在线运行，在 13 项下游任务中，即使代理计算预算显著减少，也显示出比 RegMix 和 DoReMi 等现有方法持续的改进。
-
新的GEM框架采用几何方法增强LLM数据策展
研究人员推出了一种新颖的框架GEM（Geometric Entropy Mixing），用于优化大型语言模型（LLM）的数据策展。GEM将数据混合重新表述为超球面上的变分问题，采用混合平衡正则化器来克服现有分类方法（如人类分类法和欧几里得聚类）的局限性。该框架利用可证明的最小化最大化算法来发现平衡的语义结构，并在与现有混合策略集成时，在平均下游准确性方面展示了高达1.2%的改进。