Anthropic 提出应协调放缓或暂停尖端 AI 的发展，理由是对递归自我改进和可能失去人类控制的担忧。该公司认为，这种暂停将使社会结构和对齐研究能够跟上 AI 快速发展的步伐。Anthropic 计划与政策制定者、研究人员和其他 AI 公司进行对话，讨论这些问题并探索全球合作的潜在机制。 AI
影响 可能重塑 AI 发展和安全研究的轨迹，促进全球合作。
排序理由 公司提议全行业放缓/暂停 AI 发展。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 7 个来源。 我们如何撰写摘要 →
3/3 The future question is not simply whether AI “replaces humans.” It is what happens when execution becomes cheap. Then the scarce resource is judgment: which problems matter, which results count, which systems may improve themselves, and which institutions can still keep up. #…
3/3 Die Zukunftsfrage ist nicht, ob KI „den Menschen ersetzt“. Interessanter ist: Was passiert, wenn Umsetzung fast kostenlos wird? Dann wird nicht mehr Programmieren, Recherchieren oder Ausführen knapp, sondern: Welche Probleme sind wichtig? Welche Ergebnisse gelten? Welche Syst…
"一方で、こうした減速・停止の仕組みは一企業だけでは機能しない。最先端の研究を行なう研究所が、同一の条件下で停止する必要があり、その実効性を検証可能とする必要もある。" "類似の事例として、過去に「中距離核戦力(INF)条約」などが機能したこともある。しかし、AIのトレーニングの実行は、ミサイルサイロよりもはるかに隠蔽しやすく、入力データは汎用的なものだ。密かにルールを破るインセンティブも大きい。" "課題は大きいものの、Anthropicでは今後数カ月のうちに、政策立案者や研究者、市民、AI企業との対話の場を設け、その成果を公開するとしている。" ht…
"Anthropicではこの3つめのシナリオを有力視しているが、この場合に、「AIが人間の価値観と一致し続けるか(アラインメント)」の課題があり、人間による制御が不能になる危険性もあるとする。" "そのため、Anthropicでは、「最先端のAI開発を遅らせたり一時停止したりする選択肢を持つことが、世界にとって有益」と提案。社会構造やアラインメント研究が技術の進歩に追いつくための時間を確保することが必要だという。" https://www. watch.impress.co.jp/docs/news/ 2115005.html # AI # Anthro…
"2つめのシナリオが、「AI開発は大幅に自動化されるが、研究の方向性を決定し、結果を評価するのは人間」というもの。100人の企業でも、1万人あるいは10万人の組織に匹敵する業務をこなせるようになる。知識労働や行政サービスを大きく変える可能性もあるが、全人口に対する権威主義的な監視など、有害な目的に転用される可能性もある。" "3つめのシナリオが、「AIシステム自体が完全な再帰的な自己改善能力を獲得し、後継システムを構築する」というもの。AIシステムが自らを設計し、改良していくことで、進歩のペースも計算リソースの可用性によって決定される。" https:/…
"こうした現状に対し、Anthropicでは「考えられる未来」として3つのシナリオを紹介する。" "1つは、進歩が「頭打ち」になりながらも技術が普及するというもの。技術的に新たなアーキテクチャが必要になる場合や、エネルギーや計算リソースなどのサプライチェーンにより、速度が規定・抑制される" "仮にモデルの能力が現在の水準で頭打ちになったとしても、同社の最新モデル「Mythos Preview」(ミュトス)による脆弱性発見など、多くの変化が見込まれる。" "同シナリオの「実現可能性は低い」とAnthropicではまとめ、より懸念される2つのシナリオを示す。…
"Anthropicの社内データでは、26年の現時点で、エンジニアが1日あたりにマージするコード量が24年比で8倍になっているという。" "自律型エージェントが、自らコードを実行し、数時間分の作業を他のエージェントに委任する状態。この先、エージェントが自らモデルを構築・学習できるようになれば、ClaudeはClaude自身によって継続的に改善される" "テストや評価の時間も桁違いに速く、人間をはるかに凌駕する領域が増えている。現時点で人間が優位性を持つ領域は、「研究におけるセンスと判断力」で、どの問題が重要で、どの結果が信頼でき、どのアプローチが行き止ま…