Cubit

核岭回归为深度学习架构Cubit带来新方法

研究人员推出了一种新颖的架构Cubit，它用核岭回归（KRR）取代了Transformer中的注意力机制。这种方法在最近的一篇arXiv论文中有详细介绍，与传统的Transformer相比，它提供了更强的数学基础，并可能提高长序列建模能力。另一篇论文将可微分核岭回归（KRR）作为深度学习管道的模块化组件进行探索，证明其能够以更少的训练匹配或增强现有模型。