Depth-Recurrent Transformers

深度循环Transformer展示每Token固定点收敛

研究人员调查了深度循环Transformer的内部计算，特别是每个Token的状态如何在多个处理循环中演变。他们发现，每个Token的状态会收敛到一个固定点，尽管这种收敛并不均匀。虽然中位数Token在第六个循环时稳定下来，但大约10%的Token在典型的八个训练循环深度下仍在更新。这种每Token的变化至关重要，因为一旦Token的输出稳定就停止处理，可以在不牺牲质量的情况下显著降低计算深度。