ConfabQA

新基准探测LLM在隐藏状态下的虚构与拒绝

研究人员开发了一个名为ConfabQA的新基准，用于分析小型语言模型如何处理无法回答的问题。该研究调查了模型在生成响应之前的内部状态是否可以预测甚至影响模型是拒绝回答还是自信地提供错误答案（虚构）。通过使用线性探针和稀疏自动编码器，研究发现这些内部状态确实可以区分Qwen3-1.7B和Gemma 2-2B等模型中即将发生的拒绝和虚构。研究还表明，操纵这些内部状态可以将虚构有效地转化为拒绝，这表明模型的方向性门控了言语行为，而不是其潜在的知识。