PulseAugur
实时 10:01:07

AI安全应从训练转向运行时合约,论文提出

一篇新论文认为,AI安全应通过运行时合约强制执行,而非仅在训练阶段。作者提出了一个双管齐下的方法:预防性措施,通过沙箱和过滤器阻止危险行为的发生;以及证据性措施,要求对安全行为进行可验证的证明。这一观点得到了AI安全事件、代理系统审计以及学术出版物审查的证据支持,表明代理式AI面临着与计算机安全和实验科学等社区相似的压力,这些社区已经采用了运行时合约。 AI

影响 这项研究表明,AI安全重点将从模型训练转向运行时执行,这可能会影响AI代理的开发和部署方式。

排序理由 该集群包含一篇提出AI安全新方法的学术论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

AI安全应从训练转向运行时合约,论文提出

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Albus W. Ng, Yi Han, Jusheng Zhang, Wenhao Wang ·

    Agent Safety Should Be a Runtime Contract

    arXiv:2608.11274v1 Announce Type: cross Abstract: The dominant paradigm treats AI safety as a property to be instilled during model training via RLHF, DPO, or Constitutional AI. We argue this is structurally insufficient for autonomous agents that execute code, mutate files, send…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    Agent Safety Should Be a Runtime Contract

    Agent safety should be enforced at runtime through preventive controls and verifiable evidence rather than relying solely on training-time alignment methods.