Reservoir Attention Network

新的Reservoir Attention Network增强了Transformer

研究人员推出了一种新颖的Reservoir Attention Network (RAN)架构，旨在增强预训练Transformer。RAN将一个固定的、随机初始化的Reservoir注入到中间层的注意力机制中，从而实现跨前向通道的状态传递。实验使用了从GPT-2到Qwen2.5的模型，证明了未训练的循环动态管理跨通道状态的潜力，未来的工作将探索训练循环以实现更复杂的代理能力。