研究人员在语言模型中发现了一种新机制，称为“老虎机”，它使模型能够同时管理多个实体及其相关属性。这种多槽探测方法表明，单个 token 可以编码有关当前实体和先前实体的信息，每个槽都有不同的功能角色。“当前实体”槽对于直接事实检索至关重要，而“先前实体”槽则有助于关系推理和冲突检测，尽管它在开放权重模型中对显式检索的效用有限。 AI
影响 揭示了 LLM 跟踪多个实体方式的潜在局限性，影响了代理行为和复杂推理。
排序理由 学术论文，详细介绍了关于 LLM 内部机制的新发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Language models must bind entities to the attributes they possess and maintain several such binding relationships within a context. We study how multiple entities are represented across token positions and whether single tokens can carry bindings for more than one entity. We intr…