PulseAugur
实时 11:50:04
实体 harmlessness

harmlessness

PulseAugur coverage of harmlessness — every cluster mentioning harmlessness across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_86663 ·

    AI奖励模型显示出有用性与无害性之间的张力

    一篇新的研究论文探讨了AI奖励模型中“有用性”与“无害性”之间的张力,这是从人类反馈中强化学习(RLHF)的一个关键组成部分。研究发现,在混合目标上训练的模型通常表现不如在单一目标上训练的模型,这表明目标之间存在干扰。通过识别和消融特定的神经元,研究人员观察到这些神经元在因果上支持一个目标,同时对另一个目标产生负面影响,共享神经元在这种对齐张力中起着重要作用。这些发现为理解多目标对齐为何具有挑战性提供了机制性见解,并为开发更分离和可控…