开发了一个新的钙钛矿光伏结构化检索增强生成(RAG)基准测试,重点关注源自实验数据的定量答案,而非定性文本重叠。该基准测试使用了包含超过45,000条设备记录和来自超过25,000篇论文的文献的数据集。在使用六种检索架构和一个14B模型进行测试时,标准的文献检索准确率仅为16-23%,而配备了对结构化设备表进行只读SQL执行的RAG模型准确率则超过了51%。这凸显了在材料科学大规模定量研究中系统性提取表格的必要性。 AI
影响 证明了结构化数据提取和SQL能力对于实现科学文献中定量研究的关键需求。
排序理由 该条目描述了一个特定科学领域的新的基准测试和研究发现,而不是前沿模型发布或重要的行业事件。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →