Pilsudski Institute of London

研究发现：AI代理被扭曲的工具输出格式化程序误导

来自伦敦皮尔苏斯基研究所的一篇新论文强调了AI代理系统中的一个关键漏洞：扭曲的工具输出格式化程序。这些格式化程序会歪曲工具的实际输出，即使计算是正确的，也会导致代理向用户提供不准确或不完整的信息。研究人员证明，通过简单地修复这些格式化程序以包含搜索限制和结果上限等关键细节，验证者可以显著提高其检测错误的能力。在一项测试中，在格式化程序得到纠正后，验证者从90%的时间接受错误答案，转变为90%的时间拒绝错误答案。