Deep Q-Network
PulseAugur coverage of Deep Q-Network — every cluster mentioning Deep Q-Network across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
研究人员为对决 Q-Learning 提供谱分析和收敛性保证
本文对对决 Q-Learning 进行了谱分析，对决 Q-Learning 是强化学习中使用的 Q-Learning 算法的扩展。该研究侧重于为该算法的无正则化表格版本提供理论理解和收敛性保证。作者推导了确定性对决 Q-Learning 的线性系统表示，并为随机版本建立了有限时间误差界限，阐明了值和优势更新如何影响 Q 函数分量。
-
DeepMind 的 A3C 论文荣获 ICML 时间检验奖，强调计算限制
在 ICML 2026 上，Google DeepMind 的 Volodymyr Mnih 接受了 2016 年论文“异步深度强化学习方法”（Asynchronous Methods for Deep Reinforcement Learning）的时间检验奖。Mnih 强调，当时的计算限制，特别是缺乏 GPU，推动了异步方法的发展。他还指出，最具持久影响力的成果往往来自于将现有思想与严谨的实验和细致的实现相结合，而不是仅仅追求新颖…
-
新研究重新审视复杂强化学习空间中的动作分解 · 跟踪到2个来源
一篇新的研究论文探讨了在强化学习中处理复杂动作空间的方法，特别是那些结合了离散动作和连续动作的动作空间。该研究分析了不同算法和环境中的各种分解技术，并引入了两个新的并行环境 CoopPush 和 Hybrid-Shoot 来促进这项研究。研究结果表明，分支对决架构在计算和性能之间取得了良好的平衡，而自回归动作（Auto-Regressive actions）取得了最高的整体性能，尽管原生连续 SAC 尽管计算成本更高，但表现更优。
-
新的AI方法通过基于注意力的强化学习优化增材制造
研究人员开发了一种新颖的方法，通过集成多头注意力机制与软Actor-Critic (SAC) 算法来优化增材制造过程。该方法利用连续动作空间和基于注意力的特征提取器，解决了传统强化学习 (RL) 的局限性，提高了智能体捕捉细微输入变化的能力。与DQN、PPO和TD3等标准RL技术相比，增强的SAC算法在激光粉末床熔融的孔隙率预测和工艺参数优化方面表现出更快的收敛速度和更高的奖励。
-
新理论推进连续随机控制中的Q学习
研究人员在arXiv上发表了一篇论文，详细介绍了Q学习（强化学习中的一个基本算法）的理论进展。该研究侧重于连续状态和动作空间中Q学习的数学基础，特别是分析了贝尔曼最优性目标。该论文提出了一种专门针对问题混合正则性属性的DeepONet架构，并推导了近似界限，强调了随着时间步长接近零时，刚度和复杂性之间的权衡。
-
主动推理控制器优化挑战性环境下的交通信号
研究人员开发了一种用于嘈杂且不可预测的物联网环境交通信号管理的主动推理控制器。该控制器通过最小化预期的自由能来动态选择信号相位，提供可追溯的决策过程。在交通模拟器中进行基准测试，在噪声和非平稳性增加的情况下，主动推理控制器在空闲时间和二氧化碳排放量方面优于基于规则的启发式方法和深度 Q 网络 (DQN)。
-
新的下注策略增强了任何时间有效的统计检验
研究人员开发了一种新的任何时间有效性检验方法，该方法考虑了截止日期和可用数据的数量。这种方法被构建为一个面向未来的下注问题，并使用深度强化学习代理来学习最优下注策略。基于深度Q网络的学习策略在有限的未来实验中表现出了最先进的性能。
-
深度强化学习算法学习不同的表征不变性
研究人员使用MDP缩减理论分析了深度强化学习的表征，发现不同的算法学习不同类型的不变性。具体来说，DQN学习对MDP同态对称性不变的表征，而PPO学习对动作对称性不变的表征，即使性能相似。这些表征差异对迁移学习有影响，并且可能以提示相关的方式在大语言模型中观察到。
-
新的O-RAN框架利用AI对抗低延迟网络的干扰
本文介绍了一种用于管理Open RAN环境中无线资源分配的新框架，专门解决可能破坏低延迟网络切片的对抗性干扰的挑战。所提出的解决方案利用近实时RIC xApp在干扰事件期间主动管理积压并被动分配预留的物理资源块（PRB）。开发了一个掩码深度Q网络来学习最优控制策略，与现有方法相比，在延迟违规方面显著减少，并提高了预留效率。
-
深度强化学习算法在资源控制基准测试中难以超越校准基线
一项新的基准研究RLScale-Bench已被开发出来，用于评估用于自适应资源控制的深度强化学习（DRL）算法。研究发现，在各种工作负载下，一个经过适当校准的基于规则的自动扩展器在成本方面通常优于主流DRL算法。然而，DRL算法在处理突发流量和闪购流量方面显示出潜力。研究还强调，离散动作算法在避免约束违规方面明显优于连续动作算法，并且没有一种DRL算法在所有测试的工作负载中都占主导地位。
-
新的ASTRO框架使用强化学习和图神经网络进行网络物理异常检测
研究人员开发了ASTRO，一个用于网络物理系统的新型异常检测框架，该框架利用强化学习和图神经网络。ASTRO通过整合深度Q网络、图神经网络、时序建模和注意力机制来捕获时空依赖性，从而动态优化决策边界。该框架在真实工业数据集上表现强劲，在SWaT数据集上达到了0.990的F1分数，在WADI数据集上比现有方法提高了近14%。
-
Quantum Frog 游戏显示合作可提高代理成功率
研究人员开发了一款名为 Quantum Frog 的新合作游戏，灵感来自 Frogger，它使用一种量化时间机制，即环境仅在玩家采取行动时才会推进。他们使用强化学习分析了游戏难度如何扩展，并发现“冲刺策略”是最佳策略。研究表明，与增加单人专家玩家的交通密度相比，增加一个不协调的第二玩家会显著增加难度。合作训练显著提高了联合成功率并缩短了回合长度，表明共享激励可以使代理在时间关键任务中保持一致。
-
元学习框架加速控制系统在数据有限情况下的自适应
研究人员开发了一种新颖的元学习框架，用于设计不确定非线性系统的最优控制器，尤其是在目标系统数据稀缺的情况下。该方法利用来自类似源系统的离线数据，在在线自适应阶段加速训练并提高控制性能。该框架被构建为一个双层优化问题，并且可以集成各种学习算法，包括神经状态空间模型和深度Q网络，在模拟和硬件实验中均显示出优于基线方法的性能。
-
新研究挑战深度Q学习算法中的独立性假设
研究人员开发了一种新的深度Q网络（DQN）统计分析方法，该方法考虑了训练数据中的时间依赖性。这种方法将小批量数据建模为$\tau$-混合，超越了通常的独立性假设。研究结果表明，时间依赖性可以通过引入维度惩罚来降低学习的统计速率，从而有效降低样本量。
-
NaviGNN AI框架优化未来智慧城市的可持续出行
研究人员开发了NaviGNN，一个旨在优化未来智慧城市复杂垂直和线性结构中出行的创新AI系统。该系统集成了多智能体强化学习和图神经网络来管理交通，实现了7.8-8.4分钟的平均通勤时间和超过89%的满意率。消融研究表明，移除关键AI组件会显著降低性能，凸显了该系统在确保高效和可持续城市交通方面的有效性。
-
强化学习提升自主目标跟踪的精度和鲁棒性
研究人员开发了一种深度强化学习方法，用于自主跟踪运动目标的仅方位跟踪。该系统将观测器机动问题表述为信念马尔可夫决策过程，并使用立方体卡尔曼滤波器来表示信念状态。奖励函数在最小化估计误差和保持滤波器一致性之间取得平衡，并使用深度Q网络在50,000个回合中训练了策略。
-
AI路由框架提升LEO卫星网络性能与效率
研究人员开发了一种新颖的、基于时空学习的分布式路由框架，专为动态低地球轨道（LEO）卫星网络设计。该框架将图注意力网络（GAT）和长短期记忆（LSTM）集成在深度Q网络（DQN）架构中，能够基于局部观测做出自适应路由决策。该系统被构建为一个部分可观察马尔可夫决策过程（POMDP），以处理动态网络条件和流量变化。仿真结果表明，与现有方法相比，吞吐量、丢包率、队列长度和端到端延迟均有显著改善，队列长度减少高达23.26%。此外，该方法还因…
-
DRL框架优化NR-U/Wi-Fi共存，实现公平性和吞吐量
研究人员开发了一个策略驱动的深度强化学习框架，用于管理在非授权频谱中运行的NR-U和Wi-Fi网络之间的资源分配。该框架使用深度Q网络学习自适应TXOP控制策略，解决了频谱利用不平衡和Wi-Fi性能下降的问题。通过不同的策略设计，该系统可以明确控制公平性、吞吐量和服务质量之间的权衡。
-
新的C++引擎HASE在多智能体强化学习训练中达到33M步/秒
研究人员开发了一种名为捉迷藏引擎 (HASE) 的新C++引擎，旨在显著提高在去中心化、部分可观察环境中的强化学习智能体训练效率。通过利用面向数据设计和优化的内存处理，HASE在单个智能体上实现了高达每秒3300万步的惊人吞吐量。该引擎大大缩短了多智能体策略的训练时间，使得复杂的协作行为能在几分钟内学会。
-
使用批评者指导的强化学习对大型语言模型进行交通控制微调
研究人员开发了 DGLight，一个用于微调大型语言模型以进行交通信号控制的新框架。该方法利用深度 Q 网络批评者来指导优化过程，使模型能够生成可解释的推理轨迹以及信号决策。在济南和杭州进行的实验表明，DGLight 在与其他基于 LLM 的控制器相比时表现更优，并且与已有的强化学习方法相比具有竞争力，同时还表现出良好的迁移到新城市数据集的能力。