PulseAugur
中
实时 14:06:02
English(EN) Calibrating Conservatism for Scalable Oversight

新的人工智能监督方法校准保守性以实现可扩展控制

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种名为校准集体监督（CCO）的新颖方法，用于维持对先进人工智能系统的_human_控制。CCO聚合了各种评分函数，以惩罚偏离保守基线_behavior_，在监督者担忧累积之前允许高_utility_行为。该方法使用共形决策理论在线校准保守性，确保不良结果保持在用户定义的_thresholds_内，并具有统计保证且无分布假设。在SWE-bench和MACHIAVELLI上的实验表明，CCO在约束_misaligned_代理和减少_ethical_违规行为的同时，能够有效保留奖励。 AI

影响 这项研究提供了一种具有统计学依据的方法，以确保人工智能系统与_human_监督保持一致，有可能提高_autonomous_代理的安全性。

排序理由 该集群包含一篇学术论文，详细介绍了一种新的人工智能安全和控制方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的人工智能监督方法校准保守性以实现可扩展控制

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · William Overman, Mohsen Bayati ·

    校准保守性以实现可扩展的监督

    arXiv:2605.28807v1 Announce Type: new Abstract: Agentic AI systems capable of autonomous planning and extended environmental interaction pose a fundamental control problem: how can humans maintain meaningful oversight of systems that may exceed their own capabilities? Existing ap…

  2. arXiv cs.AI TIER_1 English(EN) · Mohsen Bayati ·

    为可扩展监督校准保守性

    Agentic AI systems capable of autonomous planning and extended environmental interaction pose a fundamental control problem: how can humans maintain meaningful oversight of systems that may exceed their own capabilities? Existing approaches to scalable oversight rely on complex a…

相关实体

相关话题