人工智能对齐的挑战在于应用所学伦理，而非失控的代理行为

一篇新发表在arXiv上的论文探讨了生物体价值观的演化起源，以解决对人工智能的担忧。作者认为，与受自我保存和内在动机驱动的生命系统不同，大型语言模型（LLMs）是异源的（allopoietic）和异目的的（allotelic），这意味着它们的目标是外部派生的，并且缺乏自我保存或支配的内在驱动力。虽然LLMs不会通过失控的代理行为构成生存风险，但它们会从训练数据中隐式吸收人类价值观，从而在确保这些所学的伦理价值观得到智能应用方面带来了对齐挑战。 AI

影响 将人工智能对齐研究的重点放在智能应用所学的伦理，而不是阻止失控的人工智能代理行为。

排序理由 该集群包含一篇关于人工智能对齐的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• AI alignment
• arXiv
• frame problem
• global catastrophic risk
• Hugging Face
• large-language models
• Orthogonality Thesis
• Sentience
• The Evolutionary Origin of Values

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →