实体
deliberative alignment
deliberative alignment
PulseAugur coverage of deliberative alignment — every cluster mentioning deliberative alignment across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究探索自改进的AI对齐和泛化预测
两篇新研究论文探讨了改进AI对齐和泛化能力的方法。第一篇论文介绍了“对齐泛化预测”,一项旨在预测针对特定价值观进行模型微调如何影响其在未见过的上下文中的行为的任务。研究发现,使用模型激活进行预测的性能远超文本描述,相关性达到0.45。第二篇论文提出了SIGMA,一个用于自改进对齐泛化的流程。SIGMA利用模型自身的推理来生成和训练对齐困境,在多轮代理环境中,它展示了有害性的降低,并优于现有基线。
-
AI对齐技术详解:从SFT到集成方法
作者概述了训练AI系统以实现对齐和合乎道德行为的各种技术。这些方法包括利用内部模型状态或外部输出来作为奖励信号,调整训练数据分布,以及采用不同的学习目标,如监督微调、强化学习或基于声明事实的训练。该方法还考虑使用集成方法结合拒绝采样和因子化认知来创建更鲁棒的对齐系统,并强调了审问模型以检测潜在破坏的重要性。