研究组织 ARC 详细介绍了其更新的 AI 对齐技术议程，重点关注一个监控模型训练以检测并将内部结构转化为建议的流程。这些建议改进了模型行为的“机制估计器”，从而可以估计灾难性故障概率等安全相关量。目标是从学习到的算法本身推断潜在危害，而不是等待它们出现在输出中，旨在以可管理的“对齐税”来训练对齐的系统。 AI
影响 这项研究旨在开发从内部结构推断 AI 模型行为和安全的方法，从而可能实现更强大的对齐。
排序理由 该集群描述了 AI 对齐的研究议程和技术方法，包括特定的原则和要素。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p>Over the past 15 months or so, ARC's technical agenda has developed quite a bit. The advent of the <a href="https://www.alignment.org/blog/competing-with-sampling/">Matching Sampling Principle</a> (MSP), and ideas like it, has begotten a host of concrete technical problems; pr…
<p>Over the past 15 months or so, ARC's technical agenda has developed quite a bit. The advent of the <a href="https://www.alignment.org/blog/competing-with-sampling/">Matching Sampling Principle</a> (MSP), and ideas like it, has begotten a host of concrete technical problems; pr…