研究人员引入了点燃指数（I），这是一个旨在量化语言模型中全局工作空间动态的新指标。该标量指标通过分析输入信号强度响应的每层准确性转换，来操作化全局工作空间理论（GWT）的预测。在各种Transformer模型和SSM中，点燃指数在区分真正的语言结构和虚假的探测能力方面表现出9.6倍的选择性。研究结果表明，前馈Transformer的点燃指数通常高于SSM，而像Huginn-3.5B这样的循环架构沿其迭代轴与沿其深度轴相比，表现出不同的点燃模式。 AI
影响 引入了一个新的指标来理解LLM的内部动态，可能有助于可解释性研究。
排序理由 该集群包含一篇详细介绍分析语言模型新指标的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Global Workspace Theory
- Hugging Face
- Huginn-3.5B
- Ignition Index
- Mamba
- Pythia-410M
- transformer language models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
