研究人员探讨了序列模型（尤其是 Transformer）如何在噪声和部分观测数据下处理潜在的随机动力学。他们在受控的多变量随机波动环境中进行的研究揭示了一种两阶段计算：隐藏表示捕获关于下一个潜在状态的信息，然后将其映射到收益预测。研究表明，在 Transformer 中，这种潜在状态可解码性出现在特定的架构阶段，并且在长周期模式下，它会简化为一个显式的潜在状态滤波器。输出头替换实验进一步表明，在有噪声的均方误差（MSE）训练下性能下降部分是由于读出不对齐，而不仅仅是表示失败。 AI
影响 为理解序列模型的内部工作机制提供了见解，有助于开发更鲁棒、更具可解释性的 AI 系统。
排序理由 该集群包含一篇详细介绍模型可解释性研究结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
