实体
Qingqing Mao
Qingqing Mao
PulseAugur coverage of Qingqing Mao — every cluster mentioning Qingqing Mao across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新基准测试大型语言模型从参考文献中预测研究思路的能力
研究人员推出 Reconstruction，一个旨在仅从出版前参考文献中评估语言模型推断研究思路能力的新型基准。该基准采用严格的防泄露协议，包括时间引用截止和匿名参考文献ID，以确保评估的完整性。在六个科学领域和 643 篇论文中，领先的语言模型表现平平，匹配率在 3-15% 之间。然而，一个结合了跨模型审查和锦标赛选择机制的多智能体管道显著提高了性能，将匹配率提高到 23-42%，比最佳单模型基线提高了 2.4 倍。
-
新基准测试LLM从参考文献中推断研究思路 · 跟踪4个来源
研究人员开发了一个名为Reconstruction的新基准，用于测试语言模型仅从预发布参考文献中推断研究创意的能力。在六个科学领域和643篇论文的盲测中，七个领先模型仅取得了3-15%的适度成功率。然而，一个结合了跨模型审查和锦标赛选择方法的多代理管道将成功率提高到23-42%，比单一模型性能提升了2.4倍。