Bellman
PulseAugur coverage of Bellman — every cluster mentioning Bellman across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新算法通过保守策略更新改进零和POSG求解
研究人员开发了一种新颖的近似策略迭代算法，专门用于有限时间范围内的零和部分可观随机博弈（zs-POSGs）。该方法为每个玩家维护一个策略并联合更新它们，将计算集中在可利用的占用区域上。该算法在局部策略改进、保守更新和持续探索之间交替进行，在基准测试中表现出竞争力，并且与PBVI、HSVI和CFR+等现有求解器相比，通常能改善运行时间-可利用性权衡。
-
新的时序差分框架使用贝尔曼正交性校准黑盒模拟器
研究人员引入了一个新的时序差分（TD）框架，旨在校准黑盒模拟器。该框架利用目标系统的一次性转移和模拟器生成的带噪声的连续值。校准参数通过贝尔曼正交性定义，在模拟器规范正确时可以恢复物理参数，或者在规范错误时提供策略值的近最优L2近似。该论文基于随机方向有限差分提出了三种TD算法，并详细说明了它们在各种查询噪声条件下的收敛性质和误差界限。
-
新的FSPO控制器增强了LLM强化学习的后训练
研究人员开发了FSPO，这是一种新颖的反馈状态控制器，旨在改进大型语言模型（LLM）的后训练强化学习过程。FSPO通过学习策略一致的风险价值模型并采用决策条件轨迹校准来解决适应LLM行为的关键挑战。它还引入了帕累托资源续期证书，以确保多资源分配的可行性。在评估中，与现有的自适应基线相比，FSPO在保留数据和分布外数据上的准确性均显示出显著的提升。
-
新的 Bellman-Certified Rounding 方法改进了 MDP 中的稀疏策略部署
研究人员开发了一种名为 Bellman-Certified Rounding 的新方法，以应对在马尔可夫决策过程 (MDP) 中部署稀疏策略的挑战。该技术旨在允许仅进行少量状态级更改的连续策略更新被舍入时，保留相当一部分的折扣回报。该方法从 Bellman 求解中导出可重用的包络，在舍入之前提供统一和候选特定的保证，将结构化套件上的认证覆盖率从 48.2% 提高到 74.1%。此外，它利用秩二有理表示进行加权曲率积分，显著降低了中值界限损失比。
-
新型AI代理优化阿尔茨海默病诊断成本
研究人员开发了SCOPE-AD，一种用于阿尔茨海默病成本感知诊断的新型序列规划代理。该代理利用序数信念模型来表示从认知正常到轻度认知障碍和阿尔茨海默病谱系的中的不确定性。通过从采样Bellman目标中学习并将动作分布提炼到Qwen策略中，SCOPE-AD在考虑预算和患者负担限制的情况下，有选择地决定何时获取诊断测试以及何时做出诊断。在ADNI数据集上，SCOPE-AD在平均获取成本为50.46美元的情况下，实现了77.70%的Macr…
-
新AI框架将最大占用原则扩展至不确定环境
一篇新研究论文介绍了一种基于信念的最大占用原则（MOP）的扩展，MOP是AI智能体内在动机的框架。该扩展通过对隐藏状态进行信念推断，使智能体能够在部分可观察的环境中运行。该论文还提出了主动推理的预期自由能的贝尔曼重构，能够在资源不确定的场景中进行离线计算和智能体行为比较。研究结果表明，MOP智能体在目标导向和探索之间表现出平衡，而主动推理智能体则专注于稳定、信息丰富的区域。
-
新研究解决了持续学习模型中的灾难性遗忘问题 · 跟踪了 8 个来源
多篇研究论文探讨了神经网络中持续学习的复杂动态，重点关注模型如何随时间保留或遗忘信息。研究调查了缓解灾难性遗忘的方法，例如固定矩阵状态、可修改内存和服务器端重放机制。研究人员正在开发理论框架和实用技术，以平衡对新任务的适应与保留先前获得的知识，旨在实现更强大、更高效的学习系统。
-
新研究探索先进的强化学习技术和智能体框架 · 已追踪 10 个来源
arXiv 上发布的几篇研究论文介绍了用于推进强化学习 (RL) 和智能体 AI 的新颖框架和技术。AgentFly 提出了一个统一的资源系统，通过将环境视为可调度资源来扩展智能体 RL。MA-JEPA 探索了多智能体 RL 的联合嵌入世界模型，在 SMAC 基准测试中表现强劲。其他论文介绍了用于分层 RL 的 Q-Shaped Options，用于通过选择性移除样本来改进在线 RL rollout 的 GRPODropout，以及使…
-
新理论统一人工智能的通信、控制和决策
一篇新论文提出了一个实用信息理论的数学框架，旨在统一通信、控制和决策。该理论引入了 isoteleia 的概念，该概念将不同语义路径在导致相同最优行动时可以被视为实用等价的思想形式化。该框架将熵和信道容量等经典信息论概念扩展到面向任务的语境中，为智能系统基于其目标和资源约束可以提取的效用设定了基本限制。
-
新的推理方法提高了时间差分学习的准确性
研究人员开发了一种名为“常数步长时序差分学习的自归一化推理”的新方法。该技术通过考虑序列依赖性和步长相关的平稳目标，可以从单个马尔可夫轨迹中进行更准确的推理。该方法提供了渐近枢纽置信区域，而无需估计长期协方差或选择带宽，从而能够实现内存不随轨迹长度增长的单遍实现。在FrozenLake和Garnet上的实验证明了其在为平稳目标提供覆盖和纠正Richardson-Romberg目标方面的有效性。
-
新的 Wasserstein 策略梯度方法用于 LQ 控制问题
研究人员开发了一种用于熵正则化线性二次 (LQ) 控制问题的 Wasserstein 策略梯度 (WPG) 方法。该方法利用了无约束 LQ 控制问题具有线性高斯最优策略这一事实。WPG 方法通过考虑动作空间中的传输来更新动作律，并且 Bellman 验证论证证实了折扣占用加权的逐状态 Wasserstein 梯度与该策略类相切。因此，WPG 方法简化为反馈增益和动作协方差的有限维常微分方程 (ODE)，该方程被证明是全局适定的，并且可…
-
新研究解决 LLM 代理的信用分配问题 · 已追踪 2 个来源
arXiv 上的两篇新研究论文探讨了大型语言模型代理的高级信用分配技术。第一篇论文《从推理到代理：大型语言模型强化学习中的信用分配》综合了现有研究，以应对在复杂的代理环境中确定哪些具体行动或推理步骤能带来预期结果的挑战。第二篇论文《Gated-BEPO：置信门控贝尔曼信用分配用于大型语言模型代理》引入了一种名为 Gated-BEPO 的新方法，该方法使用经验性滚动图和置信门来更有效地将稀疏终端结果的奖励传播到单个行动，并在各种基准测试…
-
新的拍卖系统优化了大型语言模型对话中的广告投放时机
研究人员开发了LLM-OSDA，一种用于多轮对话中原生广告的新型动态拍卖机制。该系统将最优停止理论与拍卖框架相结合，以确定赞助内容的投放时机和分配。一个名为StopNet的学习组件近似最优停止策略，旨在提高净收入同时保持用户留存。
-
新的鲁棒 Q-学习算法解决了具有 Wasserstein 不确定性的均场控制问题
研究人员开发了一种新的鲁棒 Q-学习算法，用于均场控制问题。该算法通过将量化-投影方案与 Wasserstein 对偶重构相结合，解决了公共噪声定律中 Wasserstein 不确定性带来的挑战。所提出的方法已证明了收敛性，并为同步和异步学习方案提供了有限时间迭代界限，数值实验验证了其在系统性风险和流行病相关模型上的性能。
-
撤回的论文详细介绍了新颖的连续时间策略评估方法
一篇已被撤回的研究论文提出了一种新颖的连续时间策略评估方法，称为高阶生成器回归。该技术旨在通过使用多步转移和矩匹配系数来估计时变生成器，从而改进标准的Bellman基线。该论文在理论上分解了估计误差，并提供了预期更高阶收益的制度图，在校准研究中显示出优于Bellman基线的持续改进。
-
Yann LeCun 澄清“世界模型”在AI中的技术定义
Yann LeCun 就AI中的“世界模型”一词进行了技术性讨论。他澄清说，在控制论和马尔可夫决策过程（MDP）的背景下，“世界模型”特指转移模型或动力学模型，这一概念可以追溯到20世纪60年代的Bellman和Kalman。LeCun 链接了一个进一步阐述这一历史观点的讲座。