HubRouter

HubRouter 为序列模型提供亚二次方路由，提高吞吐量

研究人员开发了 HubRouter，这是一个新颖的模块，旨在用更高效的 O(nM) 中心节点介导的路由系统取代序列模型中计算成本高昂的 O(n^2) 注意力层。这种新的原始模块使用少量学习到的中心节点 token 来促进路由，在某些配置下可将训练吞吐量显著提高高达 90 倍。虽然 HubRouter 在提高效率方面显示出潜力，尤其是在 Jamba 等混合架构中，但与标准 Transformer 相比，它在模型质量方面带来了一些权衡。