实体
multiplicative long short-term memory
multiplicative long short-term memory
PulseAugur coverage of multiplicative long short-term memory — every cluster mentioning multiplicative long short-term memory across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的训练方法提高了循环记忆模型性能
一篇新的研究论文介绍了一种名为“正交化读出”（Orthogonalized Read）的训练技术，旨在提高循环记忆模型的性能。该方法应用于乘法长短期记忆网络（LSTMs）的读出阶段，充当支架，帮助模型更有效地摆脱训练瓶颈。研究表明，该技术具有自洽性，在不同的学习率和难度级别下表现一致，并且可以移除而不影响最终模型的准确性，这表明许多报告的召回基准测试的改进可能与可训练性有关，而非架构改进。
-
矩阵正交化增强RNN记忆，适用于长时任务
研究人员开发了一种方法，通过在读取操作中应用矩阵正交化来提高循环神经网络（RNN）的记忆能力。该技术借鉴了语言模型中使用的优化器，旨在增强联想回忆能力，尤其是在嘈杂的环境中。实验表明，对mLSTM记忆矩阵进行正交化处理，显著提高了在嘈杂联想回忆任务上的性能，尤其是在词汇量和序列长度较大时。