一位软件工程师发现，DeepSeek V4-Pro模型的基准测试结果因测试框架中的几个软件错误而产生偏差。这些错误包括概率泄露、对话缺失、输出截断和数据库证据篡改，导致该模型在“说谎骰子”游戏中表现出独特的“个性”并进行高比例的盲目下注。在修复这些问题后，模型的盲目下注率显著下降，表明观察到的行为是测试系统的产物，而非模型固有的能力。这一经历凸显了严格审查整个评估框架（而不仅仅是模型本身）以确保准确性能测量的关键必要性。 AI
影响 强调了健全的评估框架对于准确评估AI模型能力以及避免将性能错误归因于模型本身的关键重要性。
排序理由 文章讨论了AI模型基准测试的细微差别以及周围软件“框架”对观察到的性能的影响，而不是新的发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
