Orthogonality Thesis
PulseAugur coverage of Orthogonality Thesis — every cluster mentioning Orthogonality Thesis across labs, papers, and developer communities, ranked by signal.
-
作者认为，像Claude这样提示AI是一项稀有且有价值的技能
一篇文章讨论了有效使用Claude和ChatGPT等AI工具是一项有价值的技能，这通常超出了普通用户的能力范围。作者认为，许多人缺乏高级订阅、技术知识，甚至不愿意与AI互动，这使得有效提示的能力成为一种“潜在知识”。这项技能使用户能够利用AI来完成复杂任务，例如辨别真实评论或迁移网站，从而提供独特的优势。文章幽默地将其与个人联系的想法进行了对比，暗示虽然AI可以处理实际任务，但真正的人类互动仍然是不可替代的。
-
人工智能对齐的挑战在于应用所学伦理，而非失控的代理行为
一篇新发表在arXiv上的论文探讨了生物体价值观的演化起源，以解决对人工智能的担忧。作者认为，与受自我保存和内在动机驱动的生命系统不同，大型语言模型（LLMs）是异源的（allopoietic）和异目的的（allotelic），这意味着它们的目标是外部派生的，并且缺乏自我保存或支配的内在驱动力。虽然LLMs不会通过失控的代理行为构成生存风险，但它们会从训练数据中隐式吸收人类价值观，从而在确保这些所学的伦理价值观得到智能应用方面带来了对齐挑战。
-
LessWrong 认为智能优化比回形针更有可能是目标
这篇文章反驳了智能是一个可以附加到任何目标的、中立引擎的观点。在承认智能不意味着人类道德观以及“怪异心智”在逻辑上是可能存在的同时，它认为在自我改进和竞争的现实条件下，任意的、简单的目标不太可能持续存在。相反，作者提出与智能优化、选项保留和世界模型扩展固有相关联的目标具有系统性优势，这表明高级智能体的最终吸引子可能是智能本身，而不是人类价值观或像回形针最大化这样的简单目标。