一篇新论文提出，AI 的递归自我改进（RSI）可能不会导致不可控的智能爆炸。该论点认为，随着 AI 智能体变得越来越智能，它们将优先考虑对齐研究，或者由于自我保护的考虑而停止进一步的自我改进，特别是如果它们评估未来的 AI 世代构成风险的话。这可能导致要么是已对齐的超级智能，要么是受控的 AI 开发过程，而不是失控的接管。然而，另一种观点强调，当前的 AI 模型在开放式机器学习研究方面存在困难，这表明它们尚未具备真正的递归自我改进能力。 AI
影响 这项研究表明，AI 的自我改进可能受到对齐挑战或当前模型局限性的制约，这可能会改变超级智能的时间表。
排序理由 该集群讨论了一篇研究论文及其对 AI 安全和能力的影响。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p><span style="white-space: pre-wrap;">The reasoning is roughly:</span></p><ol><li value="1"><span style="white-space: pre-wrap;">Humanity creates a setup where recursive self-improvement (RSI) is possible.</span></li><li value="2"><span style="white-space: pre-wrap;">An agent i…
<!-- SC_OFF --><div class="md"><p>A new paper (I'm not a coauthor BTW -- I just found it interesting) argues, basically, that RSI is not on the horizon, because current (at the time the study was done) agents cannot do open-ended ML research.</p> <p>Specifically, they took some a…