实体
COPSD
COPSD
PulseAugur coverage of COPSD — every cluster mentioning COPSD across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的蒸馏方法在不牺牲推理能力的情况下增强了AI安全性
研究人员开发了一种名为“Constitutional On-Policy Safe Distillation”（COPSD）的新方法，以提高AI模型的安全性和有用性。现有的On-Policy自蒸馏技术可能会因为过度收缩模型响应以趋向保守输出而导致性能崩溃，尤其是在推理任务中。COPSD通过首先校准教师模型，然后进行基于高级宪法的条件蒸馏来解决这个问题，从而在不显著牺牲通用推理能力的情况下，实现更好的安全-有用性权衡。
-
新方法增强大型语言模型在长上下文和多语言任务中的推理能力
研究人员开发了新的方法来提高大型语言模型（LLM）的推理能力，特别是在长上下文和多语言任务方面。一种方法 OGLS-SD，在策略内自蒸馏过程中使用结果引导的logit引导来校准教师模型的响应，从而实现更稳定有效的推理。另一种方法 dGRPO，将策略内优化与蒸馏相结合，以增强长上下文推理，并引入了一个名为 LongBlocks 的新数据集。此外，COPSD 通过自蒸馏将高资源语言的推理行为转移到低资源语言，专门针对低资源语言，在多语言数…