Hsing-Wen Lin

大型语言模型量化天体物理学方法的可复现性

研究人员开发了一个新的信息论框架，使用大型语言模型（LLMs）作为诊断工具来评估文本描述的科学方法的重现性。通过将LLM生成的实现视为概率分布，并用香农熵和Jensen-Shannon散度测量其方差，该研究量化了书面描述在多大程度上约束了算法实现。一项关于天体物理学光谱重构的案例研究表明，虽然LLMs可以恢复核心方法，但它们难以推断精确科学校准所需的默会专家知识，这凸显了限制严格重现性的“熵底线”。