recursion-wise KV caching

T-LoopFormer 引入动态令牌路由以实现高效的循环 Transformer 推理

研究人员推出了一种新颖的循环 Transformer 架构 T-LoopFormer，旨在增强推理和语言任务。该新模型采用动态令牌选择路由机制，允许每个令牌根据其隐藏状态调整计算深度。这种自适应方法确保简单令牌绕过不必要的处理，而复杂令牌则接受更深入的分析，从而优化计算分配。此外，T-LoopFormer 采用递归式 KV 缓存，为每个循环维护独立的缓存，防止冗余计算并提高解码效率。实验表明，与现有模型相比，T-LoopFormer …