JSFactCheckBench

新基准揭示LLM事实核查器的弱点

引入了一个名为JSFactCheckBench的新基准来评估大型语言模型（LLM）的事实核查能力。这个日语基准包含1,913个声明，这些声明源自LLM对有关日本社交媒体误导信息的提问的回答，并附有事实性和重要性的注释，以及来自预选网络来源的证据。该基准揭示，与补充性声明相比，LLM在验证直接回答问题的声明时准确性较低，这是聚合分数通常会忽略的一个细微差别。当模型必须在更长或多个来源中查找信息，或者当包含周围的问题和回答上下文时，性能也会下降。