实体
DCLM-Baseline
DCLM-Baseline
PulseAugur coverage of DCLM-Baseline — every cluster mentioning DCLM-Baseline across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新框架SynPro助力LLM从有限有机数据中学习
研究人员开发了SynPro框架，旨在增强大型语言模型（LLM）在面对有限有机数据时的学习过程。SynPro利用重述和重新格式化技术，通过强化学习进行优化，以多样化的方式呈现现有数据，从而在不引入新信息的情况下促进更深入的学习。该方法旨在解决LLM预训练中的数据约束问题，即可用的人类文本不足以满足扩展需求。对不同规模模型的实验表明，SynPro可以有效提高有机数据的效用，在某些规模下甚至超过了标准重复，并且优于非数据约束型Oracle。
-
新框架助力LLM从有限的有机数据中学习
研究人员开发了SynPro，一个旨在帮助大型语言模型从有限的有机数据中更有效地学习的框架。该方法使用改写和重新格式化技术以多样化的方式呈现现有数据，在不引入新信息的情况下增强学习。对400M和1.1B模型的实验表明，与标准重复相比，SynPro可以实现更有效的Token利用率，甚至在1.1B规模上优于非数据约束的Oracle。