实体 OpenCodeInstruct

OpenCodeInstruct

PulseAugur coverage of OpenCodeInstruct — every cluster mentioning OpenCodeInstruct across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_289570 · Oct 9 · 04:00

研究论文区分语言模型预训练的合成任务信号

一篇新的研究论文探讨了合成任务在预训练语言模型中的有效性，区分了诊断性、可教性和可迁移性信号。研究发现，虽然一些合成任务是可教的，并且在混合预训练中包含它们可以提高下游性能，但它们的价值是有条件的，并且如果过度使用可能会降低。一个针对近期损失减少进行优化的自适应调度器将预训练混合移离了最优的下游迁移，这突显了即时损失减少与长期能力之间的不匹配。