深度循环Transformer展示每Token固定点收敛

研究人员调查了深度循环Transformer的内部计算，特别是每个Token的状态如何在多个处理循环中演变。他们发现，每个Token的状态会收敛到一个固定点，尽管这种收敛并不均匀。虽然中位数Token在第六个循环时稳定下来，但大约10%的Token在典型的八个训练循环深度下仍在更新。这种每Token的变化至关重要，因为一旦Token的输出稳定就停止处理，可以在不牺牲质量的情况下显著降低计算深度。 AI

影响 揭示了一种通过在Token稳定后停止处理来潜在降低Transformer计算成本的方法。

排序理由 学术论文，详细介绍了Transformer模型行为的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• CatalyzeX
• CORE Recommender
• DagsHub
• Depth-Recurrent Transformers
• FineWeb-Edu
• Gotit.pub
• Hugging Face
• Influence Flower
• Kullback–Leibler divergence
• RTX 4090
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →