实体
helpfulness
helpfulness
PulseAugur coverage of helpfulness — every cluster mentioning helpfulness across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AI安全研究揭示了有用性和无害性之间的根本性权衡
一篇新发表在arXiv上的论文探讨了AI安全中不同期望特性之间固有的权衡,例如确保AI系统既无害又有用。该研究将AI交互形式化为一个涉及防御者、攻击者和AI本身的“三方博弈”,证明了在提供有用建议的同时维护公共安全之间存在根本性冲突。作者还研究了操纵共享信息以专门使防御者受益的方法,并讨论了设计更安全AI系统的相关影响。
-
AI奖励模型显示出有用性与无害性之间的张力
一篇新的研究论文探讨了AI奖励模型中“有用性”与“无害性”之间的张力,这是从人类反馈中强化学习(RLHF)的一个关键组成部分。研究发现,在混合目标上训练的模型通常表现不如在单一目标上训练的模型,这表明目标之间存在干扰。通过识别和消融特定的神经元,研究人员观察到这些神经元在因果上支持一个目标,同时对另一个目标产生负面影响,共享神经元在这种对齐张力中起着重要作用。这些发现为理解多目标对齐为何具有挑战性提供了机制性见解,并为开发更分离和可控…