NumTrace

新基准NumTrace揭示金融AI代理存在严重的“数字正确但账户错误”问题

一个名为NumTrace的新基准已被开发出来，用于审计金融分析师AI代理所做数值声明的准确性。该基准不仅关注数字本身的正确性，还关注其金融语义，识别出数字正确但应用到错误语境中的错误。在对Claude Opus 5.5、GPT-6 Astra和DeepSeek-V4.1-Flash等领先代理进行测试时，NumTrace发现其大部分失败的声明是由于这些“数字正确但账户错误”的问题造成的，这凸显了它们在金融推理能力方面存在的关键缺陷。