Value Probes

新的“Value Probes”方法增强了AI安全审计

研究人员开发了一种名为“Value Probes”的新方法，以改进语言模型的自动化红队测试。该技术将审计过程构建为马尔可夫决策过程，并利用Beam Search更有效地探索对话路径。通过从目标模型的激活中估计值函数，Value Probes可以预测未来的奖励，从而显著提高识别安全相关行为的成功率。这种方法比现有方法更有效，并且可以在较小模型的数据上进行训练。