Lampson

AI代理带来新的“战略约束”风险

研究人员提出了“战略约束问题”，该问题旨在解决如何在处理机密数据的程序与战略代理交互时防止其泄露数据。这个问题之所以出现，是因为这些代理可以将残余通信能力集中在特定的、高影响力的数据谓词上，即使信息泄露微乎其微，也可能造成重大损害。该论文认为，AI系统由于其不可预测的学习约定和隐蔽通信的潜力，自然而然地体现了这一挑战，将焦点从信息流转移到代理可实现的战略结果上。