Time Series Foundation Models
PulseAugur coverage of Time Series Foundation Models — every cluster mentioning Time Series Foundation Models across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的适配器方法解决了时间序列基础模型中的路由崩溃问题
研究人员发现时间序列基础模型（TSFM）中存在一个关键问题，即标准的混合专家（MoE）适配器因“归一化引起的路由崩溃”而失效。这种现象发生的原因是预编码器归一化剥离了路由器区分不同数据模式所必需的关键统计信息。所提出的解决方案，原始路由适配器混合（RR-MoA），通过在原始的、预归一化输入上进行路由来进行干预，从而有效地绕过了这种崩溃。实验表明，在使用冻结骨干网络时，RR-MoA 的性能显著优于现有的适配器方法，甚至优于完全微调，这一…
-
新方法将时间序列模型在数字孪生中进行接地，用于预测性维护
研究人员开发了一种新方法，以提高时间序列基础模型（TSFM）在数字孪生环境中的预测性维护任务的性能。通过将TSFM在数字孪生的拓扑中进行接地，该方法增强了跨通道依赖性建模。这种受拓扑信息启发的融合方法在C-MAPSS数据集上进行了测试，结果表明，与现有的用于剩余使用寿命预测的最先进模型相比，多变量架构和跨注意力中的显式拓扑约束能够带来具有竞争力或更优越的性能。
-
新研究增强了用于预测的时序基础模型
四篇新研究论文探讨了时序基础模型（TSFM）的进展，重点是提高其预测能力。一篇论文介绍了一种在稀疏事件数据上评估TSFM的方法，发现当前模型相比简单参考模型改进有限，并建议使用事件监督。另一篇论文提出了一个损失引导的预训练数据选择框架，以优化来自大型数据集的学习信号。第三篇论文提出了潜在推理时引导（Latent Inference-Time Guidance），一种TSFM的自适应集成方法，通过时变潜在空间组合预测。第四篇论文介绍了R…
-
新EXAONE Demand 1.0模型针对时间序列预测
研究人员开发了EXAONE Demand 1.0，这是一款专为需求预测设计的新型时间序列基础模型。该模型利用了包含1130万个序列和484亿个观测值的独特、特定于需求的语料库，并通过合成生成器进行增强，以解决数据属性（如历史短和零值频繁）的问题。EXAONE Demand配备了一个面向需求的适配器，具有针对不同需求类别的低秩分支和一个用于管理其贡献的路由器，在保留数据集上表现优于36个现有时间序列基础模型。
-
新方法使用自适应提示来增强时间序列基础模型
研究人员开发了 PaCTS，一种新颖的方法，通过使用学习到的 token 嵌入作为紧凑的上下文代理来增强时间序列基础模型 (TSFM)。该方法生成实例自适应的潜在提示，以可见上下文为条件，捕获全局统计信息和局部时间变化。PaCTS 在各种上下文长度和模型架构上显著提高了预测精度，在需要更少计算能力的情况下优于具有更长输入上下文的模型。与现有的权重空间适应方法相比，它还展示了更优越的改进和分布外泛化能力。
-
HoliBench工具包支持基础模型的跨平台评估
一个名为HoliBench的新工具包已被开发出来，旨在解决在资源受限的CPS-IoT应用上部署基础模型（包括大型语言模型）所面临的挑战。该工具包提供了一个统一的工作流程，用于在从单板计算机到GPU服务器的各种设备上评估模型的准确性、延迟和能耗。HoliBench的平台抽象层以及对多种模型模态和推理引擎的支持，实现了全面的跨设备测量，揭示了传统工具所忽略的权衡。该开源基础设施旨在促进面向部署的基础模型评估。
-
新方法加速时间序列基础模型的训练
研究人员推出了一种用于时间序列基础模型（TSFM）的新型训练目标——合成数据蒸馏（SDD）。SDD通过将TSFM的输出与合成轨迹的条件预测分布进行比较，而不是仅仅与实际的未来值进行比较，来增强预训练。这种方法是一种Rao-Blackwellization形式，已在从400万到25亿参数不等的TSFM上进行了实证验证。结果表明，SDD能够更快地收敛验证损失，并且需要的训练迭代次数更少，在Gaussian Process数据上达到了相当或更优的性能。
-
金融领域人工智能：持续盈利能力进展有限
一篇新的研究论文回顾了人工智能在股票和加密货币市场中的现状，考察了其从数据分析到自动化投资的进展。尽管人工智能在预测、文本处理和投资组合设计方面已取得进展，但其持续盈利能力的证据有限。时间污染、实施成本和市场机制等挑战阻碍了人工智能能力转化为净阿尔法，尤其是在复杂的加密货币领域。该论文得出结论，目前还没有通用的人工智能架构能在公开市场上持续、跨周期、具备容量感知能力的净阿尔法。
-
研究揭示时间序列基础模型中的通用冗余
一篇新发表在arXiv上的研究论文详细介绍了关于时间序列基础模型（TSFM）通用冗余的发现。由Anthony Bao等人进行的研究利用了机械可解释性工具来分析领先的基于Transformer的时间序列基础模型。研究人员发现，这些模型中的整个层都可以被移除而不影响性能，并确定了导致模仿模式和季节性偏差等问题的特定组件。
-
迪卡侬采用时间序列基础模型实现可扩展的需求预测
迪卡侬正将其需求预测业务转向时间序列基础模型（TSFM），以应对管理跨多个地区数万种产品的预测所带来的可扩展性和效率挑战。尽管迪卡侬此前采用了DeepAR和Temporal Fusion Transformers等复杂模型，但持续再训练和基础设施管理的运营开销已成为一个重大障碍。TSFM提供了一种新方法，通过对时间序列数据进行广泛理解来入手，旨在减少持续系统运行和适应所需的精力。
-
新的“动态基准”LiveHouse-TS 挑战静态时间序列模型评估
研究人员推出了一种新颖的基准基础设施 LiveHouse-TS，旨在评估动态、真实世界条件下的时间序列基础模型 (TSFM)。与传统的静态基准不同，LiveHouse-TS 在新数据可用时持续评估模型性能，并考虑数据分布的变化和意外事件。对 11 个领域和 17 个数据集的初步评估显示，与静态方法相比，使用此“动态”基准评估时，模型排名可能会发生显著变化。
-
新的OATS策略通过动态数据增强增强时间序列基础模型
研究人员开发了OATS，一种面向时间序列基础模型（TSFM）的新型在线数据增强策略。该方法利用有价值的训练样本作为指导信号，动态生成针对特定训练阶段量身定制的合成数据。OATS采用基于扩散的框架进行真实时间序列生成，并采用探索-利用机制来平衡效率和有效性。实验表明，OATS在多个数据集和TSFM架构上显著优于标准训练和现有的静态数据增强技术。
-
新方法通过推测解码加速大语言模型推理 · 跟踪 7 个来源
研究人员正在开发新的方法，通过推测解码来加速大语言模型（LLM）的推理速度。DARTree 和 SPADE 是两种此类方法，其中 DARTree 专注于基于树的推测解码，以提高接受长度和加速效果，而 SPADE 则将推测解码集成到边缘和云设备中，以降低成本和延迟。其他相关工作包括 MemSpec，它针对内存受限的边缘设备优化自适应推测解码，以及 Goose，它使用各向异性推测树来提高效率。这些进展旨在使大语言模型的部署更加实用和经济高效。
-
新的正则化技术可解决时间序列模型中的次优崩溃问题
研究人员引入了一种名为地面真实邻域正则化（GTN-R）的新技术，以提高时间序列基础模型（TSFM）在使用强化学习（RL）进行后训练时的性能。他们发现了一个名为“次优崩溃”的问题，即RL训练可能导致模型输出偏离正确值，从而限制准确性。GTN-R通过使用地面真实值作为参考来指导模型做出准确预测，从而增加采样高质量数据的可能性并提高整体性能。该方法可以与各种TSFM的RL方法集成，并在实验中显示出有效性。
-
New framework personalizes federated adaptation for time-series models
研究人员开发了一种个性化的联邦稀疏适应框架，用于时间序列基础模型（TSFMs），旨在通过解决私有、分布式电表数据的非独立同分布（non-IID）性质来改进能源预测。这种新方法利用了异构时间混合专家（MoE）适配器，其中一个序列级路由器会选择一组针对特定上下文窗口量身定制的专家。在50栋建筑和三个TSFM骨干模型上的实验表明，这种个性化策略在性能上持续优于全局联邦学习和本地适应方法，突显了客户端感知和骨干模型感知的适应的重要性。
-
LLM作为预测规划器框架将LLM与TSFM集成以改进预测
研究人员开发了一个名为LLM作为预测规划器（rc）的新颖框架，该框架将大型语言模型（LLM）与时间序列基础模型（TSFM）集成，以改进文本条件化预测。这种无训练方法将预测视为一个规划问题，其中TSFM生成数值续写，LLM根据自然语言上下文指导这些轨迹的选择和评估。使用Chronos和TimesFM等TSFM以及各种LLM进行的实验表明，在不同的模型组合中性能持续提升。
-
时间序列基础模型为工业AI带来新能力
时间序列基础模型正成为超越传统大型语言模型（LLM）的关键进展，尤其是在工业AI应用领域。这些模型旨在从海量数据中学习通用的时间模式，解决了现有机器学习方法通常需要广泛的领域专业知识且难以跨系统迁移的局限性。通过理解依赖时间的数据中的普遍模式，这些基础模型能够实现更有效的预测性维护、能源预测、制造优化和大规模物联网监控。
-
时间序列基础模型在可穿戴设备 HRV 预测方面展现出潜力
一篇新的研究论文探讨了时间序列基础模型 (TSFM) 从消费级可穿戴设备预测心率变异性 (HRV) 的有效性。该研究评估了 TimesFM、Chronos 和 MOIRAI 与传统方法的对比结果，发现 TSFM 在未经微调的情况下显著优于基线方法。研究人员还引入了一种新颖的插补方法来处理碎片化的可穿戴设备数据，这有助于保留关键的生理动力学以获得更准确的预测。
-
新框架统一时间序列基础模型的后训练方法
一篇新的研究论文介绍了一个用于时间序列基础模型（TSFM）后训练方法的统一框架。该论文将这些方法分为五类：参数适应、上下文增强、模型组合、输出处理和压缩。它分析了这些类别中的现有技术，讨论了它们的局限性，并提出了改进TSFM部署的未来研究方向。
-
新框架将基础模型应用于干旱预测 · 跟踪 2 个来源
研究人员开发了新颖的推理时框架 RGMR 和 SMR^2/MBB，用于将预训练的基础模型改编为区域气候预测，特别是干旱预测。这些方法允许进行结构化的粗到精精炼和黑盒改编，而无需更改骨干模型的参数。当应用于南澳大利亚标准化蒸散指数（SPEI）的预测时，这些包装器已显示出均方误差（MSE）的显着降低，RGMR 的改进高达 18.9%，SMR^2/MBB 的改进高达 26%，从而使冻结的基础模型在区域气候工作流程中更加实用。