Katy Wigdahl

AI供应商被指控“基准优化”，基准测试可信度下降

“基准优化”（benchmaxxing）是指AI供应商为了优化基准测试表现而非真正改进产品而进行的模型优化，这一做法正成为一个日益严重的问题。Speechmatics最近的一次内部黑客马拉松揭示，为基准测试进行优化可以提高分数，但未必能提升真实产品性能，甚至可能掩盖潜在问题。随着AI市场转向针对特定用例的专业化模型，仅依赖通用基准测试来做采购决策正变得越来越不可靠。