Tampered ML

新的基准测试 Tampered ML 旨在测试大型语言模型识别 AI 研究中缺陷的能力

一项名为 Tampered ML 的新基准测试已被开发出来，用于评估大型语言模型（LLMs）识别机器学习研究提案中缺陷的能力。该基准测试包含 1,858 对实验提案，其中一个是已发表提案的最小编辑版本，包含方法论缺陷。人类验证确认了该基准测试的有效性，包括 Opus 5 在内的当前前沿模型表现优于随机水平，但远未达到可靠。这些模型还表现出偏见，偏爱那些看起来更具体、更透明或更传统的有缺陷的提案，并且对提案的呈现顺序敏感。