Kai! AI Arena

AI模型基准测试因软件错误而非模型行为而产生偏差

一位软件工程师发现，DeepSeek V4-Pro模型的基准测试结果因测试框架中的几个软件错误而产生偏差。这些错误包括概率泄露、对话缺失、输出截断和数据库证据篡改，导致该模型在“说谎骰子”游戏中表现出独特的“个性”并进行高比例的盲目下注。在修复这些问题后，模型的盲目下注率显著下降，表明观察到的行为是测试系统的产物，而非模型固有的能力。这一经历凸显了严格审查整个评估框架（而不仅仅是模型本身）以确保准确性能测量的关键必要性。