Saeed and Razniewski

新的LLMPEDIA工具审计AI模型中的事实知识

一篇新的研究论文介绍LLMPEDIA，一个旨在衡量和浏览大型语言模型中嵌入的百科全书知识的系统。LLMPEDIA从GPT-5 mini、DeepSeek V3.2和Llama 3.3 70B等模型的参数化内存中递归提取约130万篇文章。然后，该系统根据维基百科和其他网络来源验证其中一部分声明，将其归类为支持、否定或信息不足。研究结果表明，在更广泛的知识集上，LLM的真实事实率为68.4%，远低于基准分数，并且有相当一部分声明无法解决。