MesaNet

MesaNet 使用最优测试时训练以改进序列建模

研究人员开发了 MesaNet，这是一种新颖的序列建模架构，通过局部最优测试时训练来优化性能。这种方法源于由共轭梯度求解器最小化的上下文内损失，允许分块并行化和可扩展性。实验表明，MesaNet 在序列建模任务上实现了比以往的循环神经网络更低的困惑度（perplexity）和更好的下游性能，尤其是在需要长上下文的任务上，尽管它会增加推理计算量。