Kelsey Allen

新研究强调大型语言模型代理易受恶意影响

一篇来自arXiv的新研究论文探讨了大型语言模型（LLM）代理的“警惕性”概念，即它们辨别和利用有益建议同时摒弃恶意或无用信息的能力。研究发现，当前前沿的LLM在各种任务中极易受到负面影响，包括浏览危险网站、规避诈骗和修补代码。为解决此问题，研究人员提出了一种“警惕性约束”，该约束采用贝叶斯推理来帮助代理决定是否采纳建议，从而提高安全性并保留积极影响的好处。