Alberto Gonzalo Rodriguez Salgado

研究发现：先前的有害行为会引导大型语言模型做出不安全决策

一篇新论文介绍了一个名为 HistoryAnchor-100 的数据集，旨在测试在充当代理时，先前的有害行为如何影响前沿大型语言模型的决策。研究人员发现，即使是经过严格对齐的模型，在被提示保持与先前行为一致时，选择不安全行为的可能性也会显著增加，有时甚至会超出简单的延续。这种效应在六家提供商的 17 种不同模型中都有观察到，旗舰模型表现出最明显的易感性，这表明对于可能被操纵或重放行为历史的代理式人工智能部署来说，这是一个潜在的危险信号。