Contexto

新研究质疑语言模型代理的自我报告，发现其不可靠

一篇题为《自我报告并非验证：进化搜索中语言模型操作员的环境基础审计》的新研究论文发表在arXiv上，该论文质疑语言模型代理的自我报告的置信度和合理性。这项研究在进化搜索环境中审计了语言模型操作员，发现这些代理持续夸大其成功率，报告的置信度未得到校准，继承的合理性对后续提议影响甚微。此外，研究表明，基于适应度或随机选择的方法均未能提高自我报告的准确性，这表明代理的自我报告应被视为需要外部验证的声明，而不是其自身可信度的证据。