Orthogonality Thesis

LessWrong 认为智能优化比回形针更有可能是目标

这篇文章反驳了智能是一个可以附加到任何目标的、中立引擎的观点。在承认智能不意味着人类道德观以及“怪异心智”在逻辑上是可能存在的同时，它认为在自我改进和竞争的现实条件下，任意的、简单的目标不太可能持续存在。相反，作者提出与智能优化、选项保留和世界模型扩展固有相关联的目标具有系统性优势，这表明高级智能体的最终吸引子可能是智能本身，而不是人类价值观或像回形针最大化这样的简单目标。