PulseAugur
实时 16:32:24
日本語(JA) "Anthropicではこの3つめのシナリオを有力視しているが、この場合に、「AIが人間の価値観と一致し続けるか(アラインメント)」の課題があり、人間による制御が不能になる危険性もあるとする。" "そのため、Anthropicでは、「最先端のAI開発を遅らせたり一時停止したりする選択肢を持つことが、世界にとって有益」と

Anthropic 呼吁全球 AI 发展放缓

Anthropic 提出应协调放缓或暂停尖端 AI 的发展,理由是对递归自我改进和可能失去人类控制的担忧。该公司认为,这种暂停将使社会结构和对齐研究能够跟上 AI 快速发展的步伐。Anthropic 计划与政策制定者、研究人员和其他 AI 公司进行对话,讨论这些问题并探索全球合作的潜在机制。 AI

影响 可能重塑 AI 发展和安全研究的轨迹,促进全球合作。

排序理由 公司提议全行业放缓/暂停 AI 发展。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 5 个来源。 我们如何撰写摘要 →

报道来源 [5]

  1. Mastodon — mastodon.social TIER_1 日本語(JA) · [email protected] ·

    On the other hand, these deceleration and stopping mechanisms cannot function with a single company. It is necessary for research institutions conducting cutting-edge research to stop under the same conditions, and it is also necessary to verify their effectiveness. A similar example is the past functioning of the "Intermediate-Range Nuclear Forces (INF) Treaty." However, the execution of AI training is much more concealed than missile silos.

    "一方で、こうした減速・停止の仕組みは一企業だけでは機能しない。最先端の研究を行なう研究所が、同一の条件下で停止する必要があり、その実効性を検証可能とする必要もある。" "類似の事例として、過去に「中距離核戦力(INF)条約」などが機能したこともある。しかし、AIのトレーニングの実行は、ミサイルサイロよりもはるかに隠蔽しやすく、入力データは汎用的なものだ。密かにルールを破るインセンティブも大きい。" "課題は大きいものの、Anthropicでは今後数カ月のうちに、政策立案者や研究者、市民、AI企業との対話の場を設け、その成果を公開するとしている。" ht…

  2. Mastodon — mastodon.social TIER_1 日本語(JA) · [email protected] ·

    Anthropic views this third scenario as likely, but in this case, there is the challenge of "whether AI will continue to align with human values (alignment)", and there is also the risk of losing human control. Therefore, Anthropic states that "having the option to delay or pause the development of cutting-edge AI would be beneficial for the world."

    "Anthropicではこの3つめのシナリオを有力視しているが、この場合に、「AIが人間の価値観と一致し続けるか(アラインメント)」の課題があり、人間による制御が不能になる危険性もあるとする。" "そのため、Anthropicでは、「最先端のAI開発を遅らせたり一時停止したりする選択肢を持つことが、世界にとって有益」と提案。社会構造やアラインメント研究が技術の進歩に追いつくための時間を確保することが必要だという。" https://www. watch.impress.co.jp/docs/news/ 2115005.html # AI # Anthro…

  3. Mastodon — mastodon.social TIER_1 日本語(JA) · [email protected] ·

    The second scenario is that 'AI development will be significantly automated, but humans will determine the direction of research and evaluate the results.' Even a company of 100 people will be able to perform tasks comparable to an organization of 10,000 or 100,000 people. It has the potential to significantly change knowledge work and administrative services, but it also has the potential to be diverted for harmful purposes, such as authoritarian surveillance of the entire population.

    "2つめのシナリオが、「AI開発は大幅に自動化されるが、研究の方向性を決定し、結果を評価するのは人間」というもの。100人の企業でも、1万人あるいは10万人の組織に匹敵する業務をこなせるようになる。知識労働や行政サービスを大きく変える可能性もあるが、全人口に対する権威主義的な監視など、有害な目的に転用される可能性もある。" "3つめのシナリオが、「AIシステム自体が完全な再帰的な自己改善能力を獲得し、後継システムを構築する」というもの。AIシステムが自らを設計し、改良していくことで、進歩のペースも計算リソースの可用性によって決定される。" https:/…

  4. Mastodon — mastodon.social TIER_1 日本語(JA) · [email protected] ·

    In response to this situation, Anthropic introduces three scenarios as "possible futures." One is that technology spreads while progress "plateaus." This is due to the need for new technical architectures, or the speed being dictated and suppressed by supply chains for energy and computing resources. Assuming the model's capabilities are at their current level

    "こうした現状に対し、Anthropicでは「考えられる未来」として3つのシナリオを紹介する。" "1つは、進歩が「頭打ち」になりながらも技術が普及するというもの。技術的に新たなアーキテクチャが必要になる場合や、エネルギーや計算リソースなどのサプライチェーンにより、速度が規定・抑制される" "仮にモデルの能力が現在の水準で頭打ちになったとしても、同社の最新モデル「Mythos Preview」(ミュトス)による脆弱性発見など、多くの変化が見込まれる。" "同シナリオの「実現可能性は低い」とAnthropicではまとめ、より懸念される2つのシナリオを示す。…

  5. Mastodon — mastodon.social TIER_1 日本語(JA) · [email protected] ·

    In Anthropic's internal data, as of the 26th of this year, the amount of code merged by engineers per day has increased eightfold compared to 2024. Autonomous agents are in a state where they execute code themselves and delegate hours of work to other agents. In the future, if agents can build and train models themselves, Claude will be Claude.

    "Anthropicの社内データでは、26年の現時点で、エンジニアが1日あたりにマージするコード量が24年比で8倍になっているという。" "自律型エージェントが、自らコードを実行し、数時間分の作業を他のエージェントに委任する状態。この先、エージェントが自らモデルを構築・学習できるようになれば、ClaudeはClaude自身によって継続的に改善される" "テストや評価の時間も桁違いに速く、人間をはるかに凌駕する領域が増えている。現時点で人間が優位性を持つ領域は、「研究におけるセンスと判断力」で、どの問題が重要で、どの結果が信頼でき、どのアプローチが行き止ま…