Bowen Xu

AI评估工具的缺陷与有效性研究

一项新发表在arXiv上的预注册研究，调查了AI模型评估工具的有效性，特别关注可见性、基线充分性和缺陷。研究使用了从1.7B到8B参数的模型，包括Qwen3-14B，在LongevityBench、MMLU-Pro和GSM8K等基准测试中进行。研究结果表明，禁用模型中某些“思考”机制可以通过允许解析器处理以前无法读取的答案来提高准确性，并且对于较小的模型，这种方法与救援配置或GEPA选择的评估工具相当。