Temporal difference learning
PulseAugur coverage of Temporal difference learning — every cluster mentioning Temporal difference learning across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的 Horizon-Scalable Q-Learning 方法改进了长时程离策略值学习
研究人员推出了一种新颖的方法 Horizon-Scalable Q-Learning (HQL)，旨在提高长时程任务中离策略值学习的准确性。HQL 通过仅在评论家高度评价数据集动作相对于行为克隆策略时才扩展目标，动态平衡单步和多步时序差分学习。这种方法避免了单步方法的误差累积和多步方法引入的偏差，在组合锁任务以及 OGBench 和 OCBench 等基准测试中表现出优越的性能。
-
新的TD学习理论适应不完整的数据覆盖
研究人员为强化学习中的时序差分（TD）学习开发了一个新的理论框架，该框架能够适应不完整的数据覆盖。该方法将“子图贝尔曼方差”确定为连接TD和蒙特卡洛方法的关键因素，并证明了一个界定TD学习均方误差的预言机不等式。该方法允许TD在没有显式子图选择或需要全局覆盖的情况下进行适应，并在实验研究中展示了改进的性能。
-
新的时序差分框架使用贝尔曼正交性校准黑盒模拟器
研究人员引入了一个新的时序差分（TD）框架，旨在校准黑盒模拟器。该框架利用目标系统的一次性转移和模拟器生成的带噪声的连续值。校准参数通过贝尔曼正交性定义，在模拟器规范正确时可以恢复物理参数，或者在规范错误时提供策略值的近最优L2近似。该论文基于随机方向有限差分提出了三种TD算法，并详细说明了它们在各种查询噪声条件下的收敛性质和误差界限。
-
新的时序差分框架使用贝尔曼正交性校准黑盒模拟器
研究人员开发了一种新的无导数时序差分（TD）框架，用于校准黑盒模拟器。该框架使用目标系统的一次转移和嘈杂的模拟器生成的延续值，通过贝尔曼正交性定义校准参数。提出的 TD 算法在各种查询噪声机制下建立了收敛性和误差界限，揭示了一种依赖于规范的偏差现象，在这种现象中，偏差在模拟器规范正确的情况下可能会消失。
-
数据自适应迭代算法停止边界的新方法
研究人员开发了一种用于创建迭代算法数据自适应停止边界的通用方法。该方法通过关注一个要求来简化误差分析：时间一致的浓度，用于可预测加权的噪声和。该框架可应用于各种算法，包括随机梯度下降和时间差学习，并已被证明优于SGD的现有方法。
-
新论文详述非线性随机逼近中的稳态偏差
一篇新发表在arXiv上的论文探讨了非线性双时间尺度随机逼近中的稳态偏差和外插。研究详细说明了恒定步长的随机逼近如何导致持续的非零稳态均值误差。该论文推导了由有限状态马尔可夫链驱动的非线性递归的伯格展开，揭示了步长混合的贡献，这影响了像Richardson-Romberg外插这样的偏差缩减策略。
-
新方法解决了低时间步长脉冲神经网络中的共模误差问题
研究人员发现，在低模拟时间步长下运行时，共模误差是深度脉冲Q网络（DSQNs）的一个主要限制因素。这些跨动作值共享的误差严重阻碍了时间差学习。为解决此问题，他们提出了一种共模补偿深度脉冲Q网络（CMC-DSQN），该网络使用一个辅助人工神经网络来纠正这些误差。这种方法可以直接从SNN输出进行高效推理，在保持能效的同时，在Atari和MiniAtar环境中取得了显著的性能提升，在更高时间步长下甚至超过了现有的DSQNs和ANN基线。
-
新论文详述异步TD学习的统计率
研究人员详细介绍了具有马尔可夫数据的异步时间差（TD）学习的统计率。该研究侧重于标准表格TD学习的最后一个迭代，证明它可以使用一定数量的转移以高概率达到指定的误差界限。该速率被证明同时适用于恒定步长和递减步长，从而提供了跨时间的同步保证。该方法涉及一个锚定的局部泊松方程和一个命中时间补偿恒等式，以管理随机波动和初始化误差。
-
新的时序差分学习中心极限定理发布在arXiv上
这篇提交到arXiv的论文使用Stein方法，为向量值鞅差给出了一种非渐近中心极限定理。作者将其推广到马尔可夫链的函数，并展示了其在平均时序差分（TD）学习中的应用，为该特定学习方法建立了非渐近中心极限定理。
-
新的推理方法提高了时间差分学习的准确性
研究人员开发了一种名为“常数步长时序差分学习的自归一化推理”的新方法。该技术通过考虑序列依赖性和步长相关的平稳目标，可以从单个马尔可夫轨迹中进行更准确的推理。该方法提供了渐近枢纽置信区域，而无需估计长期协方差或选择带宽，从而能够实现内存不随轨迹长度增长的单遍实现。在FrozenLake和Garnet上的实验证明了其在为平稳目标提供覆盖和纠正Richardson-Romberg目标方面的有效性。
-
新的TRACE方法增强了AI智能体在长时程任务中的工具使用 · 跟踪2个来源
研究人员开发了TRACE，一种用于提高多回合AI智能体在复杂、长时程任务中性能的新方法。该技术通过从参考模型的对数概率中推导出每个动作的奖励，而不是仅仅依赖稀疏的结果奖励，来解决信用分配的挑战。TRACE显著提升了Qwen3-4B和Qwen3-30B-A3B等模型在BrowseComp-Plus等基准测试中的工具使用能力，从而加快了收敛速度并改善了学习曲线。
-
新框架使用大型语言模型和强化学习生成复杂的物理应用题
研究人员开发了 ARVRE，一个用于生成复杂且可解的物理应用题的新框架。该两阶段系统使用时序差分学习来创建有效的物理方程链，并采用智能检索增强生成方法来选择相关概念和词汇。然后，大型语言模型将这些元素转化为自然语言问题，确保数学正确性的同时增强语言的多样性和新颖性。
-
TD学习未能提高LLM在GSM8K上的少样本检索能力
一位研究人员探索了TD学习，以改进LLM推理中少样本示例的检索，目标是根据其效用为轨迹分配学习到的值。实验包括存储推理轨迹，检索相似轨迹作为示例，并根据后续解决方案的质量更新其值。然而，一个仅考虑轨迹自身解决方案正确性的更简单的基线表现同样好，这表明TD学习机制在GSM8K基准测试上没有提供额外的好处。
-
李雅普诺夫框架分析随机算法收敛性
研究人员发表了一篇论文，详细介绍了一个基于李雅普诺夫的框架，用于分析随机迭代算法的有限时间收敛性。该方法使用广义莫罗包络作为通用的李雅普诺夫函数，适用于各种范数和噪声类型。该框架提供了均方收敛保证，并可扩展到随机梯度下降等算法以及Q学习和时间差分学习等强化学习方法。