InfiLoop

InfiLoop架构将Transformer推理扩展到数万次迭代

研究人员开发了InfiLoop，一种用于Transformer的新型循环原生残差连接，旨在提高复杂推理任务的性能。这种新架构通过学习选择性地保留过去的计算并管理新的更新，解决了传统循环Transformer在迭代次数增加时出现的性能下降问题。InfiLoop在Sudoku-Extreme等任务上取得了优异的成绩，准确率达到97.9%，并且即使在超过20,000次测试时间迭代后仍持续改进，凸显了其在深度上的有效扩展能力。