实体
SCIKNOWEVAL
SCIKNOWEVAL
PulseAugur coverage of SCIKNOWEVAL — every cluster mentioning SCIKNOWEVAL across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的蒸馏方法增强大型语言模型推理和图像生成能力
研究人员正在开发先进的在线策略蒸馏(OPD)技术,以提高语言模型的性能,特别是在数学推理和文本到图像生成等领域。新的方法,如 Student-Delta On-Policy Distillation (SD-OPD) 和 Student-Prefix Teacher Adaptation (SPTA),旨在通过调整教师的反馈或查询的状态来优化教师指导学生的方式。其他方法,如 StepX-OPD 将能力巩固和几步采样结合用于扩散模型,而…
-
新研究挑战LLM的同策略自蒸馏,提出改进方法 · 跟踪10个来源
近期研究论文探讨了同策略自蒸馏(OPSD)在训练大型语言模型(LLMs)方面的局限性和潜在改进。研究表明,标准的OPSD可能导致死记硬背捷径并阻碍泛化能力,尤其是在长链推理任务中。Purified OPSD和DemoPSD等新框架旨在通过优化监督信号来解决这些问题,以防止过拟合并保留模型的推理能力。其他研究强调,虽然OPSD可以加速专业化,但它可能不足以支持持续学习,并且与其他强化学习方法相比,它可能表现出更强的遗忘效应。