Prompted LLM-as-Judge

新的评分方法使用 LLM 置信度对科学假设进行排名

研究人员开发了一种名为基于 Logit 的能量评分的新方法来评估大型语言模型（LLM）生成的科学假设。该方法利用 LLM 对假设的内在置信度，而不是依赖可能偏向传统观点的比较判断或语义相似性。在涉及 12 个学科的 1,323 篇论文的基准测试中，这种内在评分方法达到了 33.0% 的 Hit@1 率，显著优于传统的 LLM 作为裁判的方法。最有效的配置，使用一个 10 亿参数的模型，准确率达到了 53.1%，表明在更值得信赖的 AI…