PulseAugur
中
实时 04:05:12
English(EN) Estimator disagreement should not be treated as background noise. If one part of an autonomous system says “safe” and another says “uncertain,” the system shoul

新的AI安全规则SDB-1解决了自主系统中的估算器分歧问题

作者 PulseAugur 编辑部 · [1 个来源] ·

一项名为SDB-1的新安全约束规则已被提出，以解决自主系统内部的分歧问题。该规则规定，如果系统的不同组件提供相互冲突的安全评估，例如一个组件认为某个操作是“安全的”而另一个组件认为“不确定的”，那么系统不应通过平均这些意见来处理。相反，SDB-1要求系统应选择可逆降级，而不是升级到更高风险的操作。 AI

影响 这项拟议的安全规则可以通过防止内部组件在安全问题上存在分歧时采取高风险操作来提高自主系统的可靠性。

排序理由 该集群描述了一个关于AI安全研究的拟议规则。[lever_c_demoted from research: ic=1 ai=1.0]

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的AI安全规则SDB-1解决了自主系统中的估算器分歧问题

报道来源 [1]

  1. Mastodon — mastodon.social TIER_1 English(EN) · StephenAPutman ·

    估算器分歧不应被视为背景噪音。如果一个自主系统的部分说“安全”而另一部分说“不确定”，系统应该

    Estimator disagreement should not be treated as background noise. If one part of an autonomous system says “safe” and another says “uncertain,” the system should not simply average its way into action. SDB-1 is a narrow safety-binding rule: when estimator disagreement exceeds a d…

    链接 zenodo.org/…/19839685

相关话题