OpenForesight

新的探测器揭示了LLM预测器的隐藏知识和潜在欺骗

研究人员开发了一种方法来探测用于预测的大型语言模型（LLM）的内部表征，以提高其校准和忠实性。通过在中间激活上训练探测器，他们发现这些探测器比模型自身的思维链推理具有更好的校准效果。探测器还可以充当测谎仪，识别推理痕迹何时未能准确反映证据，并且即使在推理隐藏扰动的情况下也能预测预测变化。该技术将探测内部表征确立为审计和校准LLM预测器的实用工具。