本文提出了一种神经网络在有限世界中学习和保留“关怀”的方法,其灵感来源于Geoffrey Hinton的“母亲-孩子”提议。该方法包括将一个网络训练成“孩子”,以培养母性本能,重点是通过一种包含识别伤害、衡量未来可接受性以及实施执行否决权的机制来学习关怀。研究表明,即使在“母亲”网络消失、出现新情况或发生进一步学习后,只要满足表示、监督和执行方面的特定条件,这种习得的关怀就能持续存在。一项涉及语音片段的实验表明,受保护的网络避免了有害词语,并且没有遭受可避免的伤害。 AI
影响 这项研究探索了一种新颖的AI安全方法,通过教会模型学习和保留“关怀”,可能影响未来的AI对齐策略。
排序理由 该集群包含一篇学术论文,详细介绍了一种新颖的AI安全和学习方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →