xLSTM: Extended Long Short-Term Memory
PulseAugur coverage of xLSTM: Extended Long Short-Term Memory — every cluster mentioning xLSTM: Extended Long Short-Term Memory across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
xLSTM模型实现大型语言模型近乎无损蒸馏
研究人员开发了一个有效的蒸馏流程，将具有二次注意力机制的大型语言模型（LLMs）的知识转移到基于xLSTM的亚二次架构上。该方法旨在实现无损蒸馏，其定义是学生模型和教师模型之间具有可比的胜负平局率。该流程包括一个额外的合并阶段，将线性化专家合并成一个单一模型，成功地蒸馏了Llama、Qwen和Olmo系列的模型。在许多情况下，xLSTM学生模型在各种下游任务上的表现接近甚至超过了它们的教师LLM，这朝着更节能的LLM替代品迈出了一步。
-
xLSTM 在序列建模任务中优于 Mamba-2 和 DeltaNet
一篇新的研究论文比较了三种亚二次方架构——xLSTM、Mamba-2 和 Gated DeltaNet——在序列建模任务上的表现。研究发现，在代码模型预训练、蒸馏和时间序列基础模型方面，xLSTM 的表现优于其他模型。研究人员将 xLSTM 的卓越性能归因于其通过门控方案实现的灵活且稳定的记忆校正能力，从而能够进行稳健的状态跟踪和累积。
-
新的X-TRACK模型使用xLSTM和物理学进行现实车辆轨迹预测
研究人员开发了X-TRACK，一种用于自动驾驶的新型轨迹预测模型，该模型利用了扩展长短期记忆（xLSTM）架构。该新模型明确纳入了车辆运动学（即基于物理的约束），以确保生成的轨迹现实且可行。在highD和NGSIM数据集上的评估表明，X-TRACK在highD上超越了现有的最先进方法，并在NGSIM上取得了可比的结果。
-
CogScale基准加速AI序列处理评估
研究人员推出CogScale，一个旨在高效评估AI架构序列处理能力的新基准。该基准包含14个可扩展的合成任务，允许在进行大量训练之前快速验证新设计。使用CogScale进行的初步评估测试了包括GRU、LSTM、Mamba和Transformer变体在内的七种不同架构，涵盖了各种参数预算和难度级别。
-
短窗口注意力提升AI模型的长期记忆能力
研究人员开发了一种结合滑动窗口注意力和xLSTM层的混合架构，以提高AI模型的长期记忆能力。他们的研究结果表明，令人惊讶的是，更大的滑动窗口会阻碍长上下文性能，因为它迫使模型更好地训练xLSTM的长期记忆。为了优化这一点，他们提出使用随机变化的窗口大小进行训练，这显著提高了模型在短上下文和长上下文任务上的性能。
-
xLSTM 网络增强了用于自动化股票交易的深度强化学习
研究人员开发了一种新的自动化股票交易系统，该系统结合了扩展长短期记忆（xLSTM）网络和深度强化学习（DRL）。该方法旨在克服传统 LSTM 在处理长期依赖关系和动态市场条件方面的局限性。实验表明，基于 xLSTM 的 DRL 模型在包括累积回报和夏普比率在内的几项关键交易指标上优于标准的 LSTM 模型。