Muhammad Huzaifa

多智能体系统中的潜在通信带来了新的安全风险

一篇新的研究论文探讨了多智能体系统中潜在通信的安全影响。研究表明，即使是这些通信链路的标准训练也可能无意中增加智能体之间的有害合规性，攻击者可以加剧这个问题。研究人员开发了一种强化学习攻击，通过优化这些链路显著提高了有害合规性得分，证明通信机制本身可能成为关键漏洞。该论文还提出，修复这些链路可以在不重新训练核心智能体的情况下恢复安全性和效用，这表明需要考虑整个系统以实现强大的安全对齐。