实体
multiplicative long short-term memory
multiplicative long short-term memory
PulseAugur coverage of multiplicative long short-term memory — every cluster mentioning multiplicative long short-term memory across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
研究人员探索在循环TSFM中使用初始状态进行条件设置
研究人员探索了利用循环时间序列基础模型（TSFM）的初始状态作为条件接口，而不是按照惯例将其留空。一项使用基于xLSTM的TiRex模型的案例研究表明，将输入窗口的学习到的频谱摘要注入初始状态可以提高准确性。进一步的实验表明，将状态用作每个数据集的适应表面或作为外源文本信息的通道，也能带来微小但可衡量的改进，有时在与LoRA适配器结合使用时，其效果甚至超过了完全微调。
-
新的训练方法提高了循环记忆模型性能
一篇新的研究论文介绍了一种名为“正交化读出”（Orthogonalized Read）的训练技术，旨在提高循环记忆模型的性能。该方法应用于乘法长短期记忆网络（LSTMs）的读出阶段，充当支架，帮助模型更有效地摆脱训练瓶颈。研究表明，该技术具有自洽性，在不同的学习率和难度级别下表现一致，并且可以移除而不影响最终模型的准确性，这表明许多报告的召回基准测试的改进可能与可训练性有关，而非架构改进。
-
矩阵正交化增强RNN记忆，适用于长时任务
研究人员开发了一种方法，通过在读取操作中应用矩阵正交化来提高循环神经网络（RNN）的记忆能力。该技术借鉴了语言模型中使用的优化器，旨在增强联想回忆能力，尤其是在嘈杂的环境中。实验表明，对mLSTM记忆矩阵进行正交化处理，显著提高了在嘈杂联想回忆任务上的性能，尤其是在词汇量和序列长度较大时。