deanlee

AI基准测试因令牌限制而存在缺陷，修正结果显示模型在新任务上遇到困难

一个旨在评估LLM路由能力的基准测试OmnisBench被发现存在缺陷，其输出令牌限制无意中惩罚了推理时间过长的模型。最初，该基准测试即使对先进模型也报告了低分，但在审查原始响应后，发现模型在提供解决方案之前就达到了令牌限制。在调整输出令牌限制以适应更长的推理过程后，基准测试产生了更准确的结果，由于数据污染导致小型模型得分显著下降，而路由策略的有效性则得到显著提高。