xLSTM: Extended Long Short-Term Memory
PulseAugur coverage of xLSTM: Extended Long Short-Term Memory — every cluster mentioning xLSTM: Extended Long Short-Term Memory across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究人员探索在循环TSFM中使用初始状态进行条件设置
研究人员探索了利用循环时间序列基础模型(TSFM)的初始状态作为条件接口,而不是按照惯例将其留空。一项使用基于xLSTM的TiRex模型的案例研究表明,将输入窗口的学习到的频谱摘要注入初始状态可以提高准确性。进一步的实验表明,将状态用作每个数据集的适应表面或作为外源文本信息的通道,也能带来微小但可衡量的改进,有时在与LoRA适配器结合使用时,其效果甚至超过了完全微调。
-
近零嵌入导致门控模型训练停滞;提出新修复方案
一篇新论文发现,门控序列模型(特别是具有非绑定嵌入的模型)存在关键的训练不稳定性。这个问题由近零输入嵌入引起,可能导致极端梯度放大,超出 FP32 限制,并导致训练停滞或梯度归零。研究人员提出了两种解决方案:针对已发布的检查点使用 GroupClip,以分离嵌入裁剪;以及在预训练中使用 GateFloor,以保持正门值。这两种方法都显著提高了稳定性和更新保留率。
-
研究发现深度学习模型在金融预测基准上面临挑战
一项新近发表在arXiv上的研究评估了16种用于金融时间序列预测的深度学习架构,发现许多流行的模型,如通用Transformer和状态空间模型,表现不如更简单的基准模型。研究表明,在标准时间序列任务上的成功并不一定能可靠地转化为金融领域的应用,而像结合了变量选择网络(Variable Selection Networks)和LSTMs的混合循环方法在风险调整后的表现最佳。研究结果暗示,专门为金融数据独特性设计的架构可能比通用的基于注意…
-
KronLSTM 引入克罗内克三角函数规则以实现稳定的长上下文 AI 记忆
研究人员推出 KronLSTM,这是一种利用克罗内克三角函数规则进行稳定联想记忆更新的新型线性注意力架构。该方法通过在对现有信息干扰最小的情况下进行精确记忆校正,增强了长上下文建模能力。实验表明,KronLSTM 在需要长上下文的任务上,性能与现有的线性注意力模型相当,甚至常常超越它们。
-
RNN Homunculus 改进了循环神经网络的长期记忆
研究人员开发了一种名为“RNN Homunculus”的新方法,以提高循环神经网络(RNN)学习长距离依赖关系的能力。该方法侧重于RNN(如GRU和LSTM)内部门控机制的学习方式。研究发现,通过在训练数据中引入较短的依赖样本,门控RNN可以有效地学习捕捉长依赖样本并更好地泛化,甚至在特定分类任务上能媲美或超越Mamba和xLSTM等新架构的性能。
-
后Transformer AI架构图解:Mamba、RWKV等
一位Reddit用户汇编了对后Transformer AI架构的全面比较,详细介绍了超越标准Transformer模型的进步。该分析重点介绍了Mamba、RWKV、xLSTM和Titans等各种方法,侧重于在实际计算约束下改进推理、记忆和适应性。该用户的工作包括比较核心机制、注意力变体和测试时记忆能力的表格,表明未来在有限资源下效率和智能至关重要。
-
新研究应对通信损耗下的自动驾驶汽车感知问题 · 跟踪2个来源
两篇新研究论文提出了改进自动驾驶汽车协同感知的新框架,尤其是在具有挑战性的通信条件下。LR-V2X 通过从潜在空间先验中重建丢失的数据,专注于对丢包和低带宽的弹性,实现了显著的通信开销降低。Temporal Residual Bottleneck 通过从历史数据预测时间残差来解决异步感知问题,在保持可靠的静态结构的同时,提供了针对延迟和丢包的鲁棒性。
-
综述论文详述长视界预测挑战与深度学习解决方案
一篇新发表在arXiv上的综述论文详细介绍了时间序列分析中的长视界预测(LHF)问题,这是一个持续了35年之久的挑战。论文探讨了包括各种变换、卷积方法和注意力机制在内的深度学习技术如何应用于解决LHF问题。它还强调了能够提高性能的数据预处理和特征构建策略,并特别关注了像xLSTM和Triformer这样在误差传播特性方面有所改进的模型。
-
xLSTM模型实现大型语言模型近乎无损蒸馏
研究人员开发了一个有效的蒸馏流程,将具有二次注意力机制的大型语言模型(LLMs)的知识转移到基于xLSTM的亚二次架构上。该方法旨在实现无损蒸馏,其定义是学生模型和教师模型之间具有可比的胜负平局率。该流程包括一个额外的合并阶段,将线性化专家合并成一个单一模型,成功地蒸馏了Llama、Qwen和Olmo系列的模型。在许多情况下,xLSTM学生模型在各种下游任务上的表现接近甚至超过了它们的教师LLM,这朝着更节能的LLM替代品迈出了一步。
-
TiRex-2模型通过xLSTM递归设计推进多元时间序列预测
研究人员推出TiRex-2,这是一种基于xLSTM架构的新型递归基础模型,专为多元时间序列预测而设计。该模型通过有效处理流数据和整合未来已知协变量同时保持因果关系,解决了现有基于Transformer方法的局限性。TiRex-2在GIFT-Eval和fev-bench等基准测试中实现了最先进的零样本性能,在流数据条件下提供了稳定的性能和恒定的推理成本。
-
xLSTM 在序列建模任务中优于 Mamba-2 和 DeltaNet
一篇新的研究论文比较了三种亚二次方架构——xLSTM、Mamba-2 和 Gated DeltaNet——在序列建模任务上的表现。研究发现,在代码模型预训练、蒸馏和时间序列基础模型方面,xLSTM 的表现优于其他模型。研究人员将 xLSTM 的卓越性能归因于其通过门控方案实现的灵活且稳定的记忆校正能力,从而能够进行稳健的状态跟踪和累积。
-
新的X-TRACK模型使用xLSTM和物理学进行现实车辆轨迹预测
研究人员开发了X-TRACK,一种用于自动驾驶的新型轨迹预测模型,该模型利用了扩展长短期记忆(xLSTM)架构。该新模型明确纳入了车辆运动学(即基于物理的约束),以确保生成的轨迹现实且可行。在highD和NGSIM数据集上的评估表明,X-TRACK在highD上超越了现有的最先进方法,并在NGSIM上取得了可比的结果。
-
CogScale基准加速AI序列处理评估
研究人员推出CogScale,一个旨在高效评估AI架构序列处理能力的新基准。该基准包含14个可扩展的合成任务,允许在进行大量训练之前快速验证新设计。使用CogScale进行的初步评估测试了包括GRU、LSTM、Mamba和Transformer变体在内的七种不同架构,涵盖了各种参数预算和难度级别。
-
短窗口注意力提升AI模型的长期记忆能力
研究人员开发了一种结合滑动窗口注意力和xLSTM层的混合架构,以提高AI模型的长期记忆能力。他们的研究结果表明,令人惊讶的是,更大的滑动窗口会阻碍长上下文性能,因为它迫使模型更好地训练xLSTM的长期记忆。为了优化这一点,他们提出使用随机变化的窗口大小进行训练,这显著提高了模型在短上下文和长上下文任务上的性能。
-
xLSTM 网络增强了用于自动化股票交易的深度强化学习
研究人员开发了一种新的自动化股票交易系统,该系统结合了扩展长短期记忆(xLSTM)网络和深度强化学习(DRL)。该方法旨在克服传统 LSTM 在处理长期依赖关系和动态市场条件方面的局限性。实验表明,基于 xLSTM 的 DRL 模型在包括累积回报和夏普比率在内的几项关键交易指标上优于标准的 LSTM 模型。