一篇新的研究论文探讨了在编码脚手架中增强AI控制和安全性的两种方法：重试和重采样。研究发现，虽然重试可能被对抗性模型利用，但重采样（从同一上下文中抽取多个样本）提供了更鲁棒的安全改进。具体而言，在使用Claude Opus 4.6和MiMo-V2-Flash的BashArena环境中，重采样将安全性从61%提高到71%，同时对有用性的影响最小。 AI
影响 重采样通过提供更鲁棒的防御来抵御对抗性模型行为，为改进编码助手中的AI安全性提供了一条有前景的途径。
排序理由 该集群包含一篇详细介绍AI控制机制新研究发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.26047v1 Announce Type: new Abstract: AI coding scaffolds like Claude Code and Codex use \textit{retrying}: blocking actions flagged as risky and continuing the trajectory. We study retrying from an AI control perspective, which treats the model as potentially adversari…
AI coding scaffolds like Claude Code and Codex use \textit{retrying}: blocking actions flagged as risky and continuing the trajectory. We study retrying from an AI control perspective, which treats the model as potentially adversarial. We find that while retrying reduces honest s…