一项新的提案 POST-Agents 旨在确保未来的人工智能代理(agents)可以被关停。POST-Agents 提案建议训练代理满足“仅在相同长度轨迹之间满足偏好”(Preferences Only Between Same-Length Trajectories, POST)。该条件以及其他条件,意味着“中立+”(Neutrality+),这使得代理在保持有用的同时仍可被关停。 AI
影响 引入了一个确保人工智能可关停性的理论框架,可能影响未来人工智能的发展和安全协议。
排序理由 该集群包含一篇发表在 arXiv 上的研究论文,详细介绍了一个新的人工智能安全理论提案。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Elliott Thornley
- Neutrality+
- POST-Agents Proposal
- Preferences Only Between Same-Length Trajectories
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →