IdeaAMBIG

新的基准测试IdeaAMBIG测试AI解决研究规范歧义的能力

研究人员开发了IdeaAMBIG，这是一个新的基准测试，旨在评估AI模型识别和解决研究方法规范中歧义的能力。该基准测试包含660个实例，包括来自可复现性报告和GitHub问题的真实世界差距，以及合成差距。IdeaAMBIG评估三个核心能力：评估编码准备情况、定位缺陷和生成澄清操作。虽然目前的LLM在缺陷定位方面存在困难，但当提供缺陷位置时，它们在生成澄清方面表现出更高的成功率。