实体
MesaNet
MesaNet
PulseAugur coverage of MesaNet — every cluster mentioning MesaNet across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
增长式神经网络的新型检索中心深度学习范式
研究人员推出了一种新颖的神经网络范式——检索中心深度学习（RCDL），该范式为每个训练数据点存储键值表示。与将数据压缩成固定大小矩阵的传统方法不同，RCDL在推理过程中使用注意力机制来检索和重组这些表示，从而实现增长式神经网络。该论文详细介绍了核化注意力层的函数梯度学习规则，并展示了RCDL在图像分类和合成学习任务中的有效性。
-
MesaNet 使用最优测试时训练以改进序列建模
研究人员开发了 MesaNet，这是一种新颖的序列建模架构，通过局部最优测试时训练来优化性能。这种方法源于由共轭梯度求解器最小化的上下文内损失，允许分块并行化和可扩展性。实验表明，MesaNet 在序列建模任务上实现了比以往的循环神经网络更低的困惑度（perplexity）和更好的下游性能，尤其是在需要长上下文的任务上，尽管它会增加推理计算量。