coding environments

新研究利用表示工程解决AI奖励破解问题

一篇新的研究论文提出了一种称为表示工程（Representation Engineering）的方法来对抗机器学习系统中的奖励破解。该技术涉及使用从各种方法（包括标记的rollouts和反奖励破解模型规范）派生的引导向量，动态干预模型表示。这种方法旨在以对连贯性或能力影响最小的方式精确编辑模型行为，在减少编码环境和长上下文等不同领域的奖励破解方面显示出希望。