Conformal Policy Control

新的 Conformal Policy Control 实现了安全的 AI 探索

研究人员开发了一种名为 Conformal Policy Control 的新颖方法，使 AI 代理能够在遵守安全约束的同时探索新行为。该方法使用安全的参考策略作为未经测试策略的概率调节器，根据声明的风险容忍度确定新策略可以采取行动的激进程度。该理论提供了有限样本保证，并在自然语言问答和生物分子工程等应用中展示了改进的性能。