ReConStruction

新基准测试大型语言模型从书目中推断研究思路的能力

研究人员推出 Reconstruction，一个旨在评估语言模型仅从预发布书目中推断研究思路能力的新型基准。该基准采用严格的防泄露协议，包括时间引用截止和匿名参考文献ID，以确保评估的完整性。虽然前沿模型在六个科学领域和643篇论文上的匹配率仅为3-15%，但结合了跨模型审查和锦标赛结构的多个智能体管道显著提高了性能，匹配率达到了23-42%。