PulseAugur
中
实时 23:40:11
实体 Reality Drift

Reality Drift

PulseAugur coverage of Reality Drift — every cluster mentioning Reality Drift across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_275136 ·

    新的“嫁接”技术可高效修改跨检查点的LLM信念

    研究人员开发了一种名为“嫁接”的新技术,可以在训练过程中更有效地修改大型语言模型的信念。该方法解决了传统合成文档微调(SDF)成本高昂且耗时的问题,后者在每次调整后都需要完全重新训练。嫁接技术允许将SDF中学到的权重更新应用于现有的后训练模型,以显著更低的计算开销近似模拟中期干预的效果。该方法已被证明可以减少“现实漂移”等不良副作用,并能保持高达2840亿参数模型的各项能力,从而加快对齐研究的迭代速度。

  2. TOOL · CL_280951 ·

    新的“嫁接”技术可实现高效的训练后模型信念修改

    研究人员开发了一种名为“嫁接”的新技术,可以在预训练后高效地修改模型的信念,从而解决了传统方法缓慢的迭代周期问题。现有的训练后应用方法,如合成文档微调(SDF),可能会引入“现实漂移”并降低能力。嫁接通过在预训练检查点上训练一个SDF适配器,然后将学习到的权重更新应用于训练后模型,来近似忠实的训练中干预。这种方法显著减少了现实漂移和偏好一致性损失,同时允许对预训练干预进行快速迭代。