Jason Starace

大型语言模型（LLM）代理的动机可预测，但信念系统仍不透明

研究人员使用 Llama-3.1-8B 代理进行了一项大规模实验，以了解从其行为中可以推断出代理动机和信念系统的程度。研究发现存在显著的不对称性，动机高度可预测（准确率 98-100%），而信念系统则难以辨别，即使是先进的 Transformer 模型也只能达到 34.0% 的准确率。这种推断信念系统（尤其是中性对齐）的困难，表明仅凭可观察到的行为来理解 LLM 代理的价值观存在局限性。