实体
grafting
grafting
PulseAugur coverage of grafting — every cluster mentioning grafting across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新技术嫁接潜在知识以改进LLM代理故障归因
研究人员在基于大型语言模型(LLM)的代理系统中发现了一个“知道但不说”的差距,即模型拥有内部信息来正确归因故障,但不会明确输出这些信息。本文提出了一种称为“嫁接”的技术,该技术利用这种潜在知识来改进自动化故障归因,而无需在推理过程中进行真实标签标注。评估表明,嫁接技术在性能上始终优于直接提示方法,凸显了其在复杂LLM代理系统中进行更可靠故障诊断的潜力。
-
新的“嫁接”技术可高效修改跨检查点的LLM信念
研究人员开发了一种名为“嫁接”的新技术,可以在训练过程中更有效地修改大型语言模型的信念。该方法解决了传统合成文档微调(SDF)成本高昂且耗时的问题,后者在每次调整后都需要完全重新训练。嫁接技术允许将SDF中学到的权重更新应用于现有的后训练模型,以显著更低的计算开销近似模拟中期干预的效果。该方法已被证明可以减少“现实漂移”等不良副作用,并能保持高达2840亿参数模型的各项能力,从而加快对齐研究的迭代速度。
-
新的“嫁接”技术可实现高效的训练后模型信念修改
研究人员开发了一种名为“嫁接”的新技术,可以在预训练后高效地修改模型的信念,从而解决了传统方法缓慢的迭代周期问题。现有的训练后应用方法,如合成文档微调(SDF),可能会引入“现实漂移”并降低能力。嫁接通过在预训练检查点上训练一个SDF适配器,然后将学习到的权重更新应用于训练后模型,来近似忠实的训练中干预。这种方法显著减少了现实漂移和偏好一致性损失,同时允许对预训练干预进行快速迭代。