PulseAugur
中
实时 06:07:36
实体 Matrix Recurrent Units

Matrix Recurrent Units

PulseAugur coverage of Matrix Recurrent Units — every cluster mentioning Matrix Recurrent Units across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_103075 ·

    Matrix Recurrent Units：一种注意力机制的替代方案获得更新

    一位研究人员更新了关于 Matrix Recurrent Units (MRUs) 的信息，这是一种替代注意力机制的序列架构。MRU 的工作原理是将嵌入转换为输入状态矩阵，累积地将这些矩阵相乘，然后将它们转换回向量。为了提高深度学习硬件的效率，通过利用该操作的结合律开发了一种并行扫描方法。研究人员还详细介绍了为解决训练不稳定和约束矩阵状态而实现的几种方法，包括使用斜对称矩阵、LDU 分数和 QR 分解，这些方法在性能上各有权衡。