ElephantBench

研究发现 LLMs 在贝叶斯推理和信念更新方面存在困难 · 跟踪 4 个来源

近期研究表明，大型语言模型（LLMs）在一致地表示和更新概率信念方面存在困难，而这对于复杂领域中的决策至关重要。研究发现，LLMs 在处理证据时常常表现出内部不一致性，有时非贝叶斯启发式方法在下游任务中的表现优于精确的贝叶斯更新。这表明 LLMs 的内部世界模型可能被错误指定，导致认知短视和校准不当，尤其是在处理长尾事实或隐藏信息时。