AstroAlertBench

新基准评估大语言模型在天文学分类和推理能力

研究人员推出了 AstroAlertBench，这是一个旨在评估多模态大语言模型在天文学事件分类中的准确性、推理能力和诚实度的新基准。该基准使用来自 Zwicky Transient Facility 的 1,500 个真实世界警报数据集，并测试了 13 个不同的大语言模型。研究结果表明，高准确性并不总是与模型自我评估其推理能力相关联，这会影响其作为科学助手的可靠性。