研究人员开发了一个名为Kurate的系统,该系统利用大型语言模型(LLMs)来评估科学研究的质量。Kurate分析论文以及相关的文档,如试验注册和方案,并对研究设计和报告的八个维度进行评判。该系统应用于一个包含4300多篇论文的语料库,揭示了统计功效、选择性报告和分析预规范化等常见问题。与专家注释相比,Kurate在提取相关信息方面表现出高精度,表明了元科学研究进行大规模质量评估的可行性。 AI
影响 通过实现可扩展的、LLM驱动的研究论文质量评估,增强了科学文献审查。
排序理由 该条目描述了一个在arXiv论文中提出的新的科学质量分析系统。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Kurate
- large language models
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →