Deep Q-Network
PulseAugur coverage of Deep Q-Network — every cluster mentioning Deep Q-Network across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
分层强化学习在导航和操作任务中优于扁平基线
本文探讨了用于导航和操作任务的无演示分层强化学习。它将分层流水线的性能和训练效率与传统的扁平强化学习基线(如深度Q网络(DQN)和软Actor-Critic(SAC))进行了比较。研究结果表明,分层方法在导航任务中(跨越未见过的环境)明显优于扁平基线,并且需要的训练交互更少。在操作任务中,分层方法也显示出更高的训练效率和更低的变异性。
-
AI模型利用实际AQI数据模拟鸟类污染感知运动
研究人员开发了一个新颖的强化学习框架——世界锚定强化学习(World-Grounded Reinforcement Learning),用于模拟受环境污染影响的鸟类运动。该系统利用实际空气质量指数(AQI)数据作为训练信号,使智能体能够根据生态影响而非人类定义的奖励来学习适应性导航策略。该框架在印度模拟中进行了测试,整合了来自Xeno-canto的鸟类叫声元数据和空间AQI映射以进行高效训练。比较分析表明,与蒙特卡洛(Monte Ca…
-
新的电力系统故障诊断框架显示,学习策略几乎没有优势
研究人员开发了ActiGrid,一个用于电力系统故障和攻击诊断中主动证据获取的基准框架。该框架将一个旨在处理缺失数据的分类器与一个决定是请求更多信息还是停止并诊断的双深度Q网络(DQN)配对。在TU Delft数字变电站和MSU/ORNL电力系统攻击基准上的实验表明,虽然学习策略适应了观测结果,但它并不显著优于熵停止或固定子集等更简单的方法,甚至被紧凑子集分类器超越。
-
强化学习优化交通信号与车道设计
研究人员开发了一种强化学习方法,用于同时优化交叉口的交通信号控制和车道渠化。该方法解决了传统混合整数线性规划的局限性,后者计算量大,并且需要针对不同的交通模式重复求解。新的深度Q网络模型融入了人类反馈,以防止车道标记和信号相位之间出现危险的过渡,旨在提高交叉口的通行能力和安全性。
-
深度强化学习用于高性能计算作业调度
一篇新的研究论文评估了六种深度强化学习(DRL)方法在高性能计算(HPC)作业调度中的有效性。该研究将近端策略优化(PPO)、优势演员-评论家(A2C)和深度Q网络(DQN)与传统启发式方法和带掩码的随机对照组进行了比较,每种方法都分别进行了动作掩码处理和未处理。结果表明,虽然带掩码的DRL方法通常完成了评估,但在异构工作负载跟踪中,只有MaskablePPO与对照组相比,在平均等待时间和最大有界减速方面显示出显著改进。
-
斯坦福大学研究人员将RL用于儿科超声心动图实验室资源分配
斯坦福大学和Lucile Packard儿童医院的研究人员开发了一个模拟模型,以优化儿科超声心动图实验室的资源分配。他们将即时患者分配与基于预订的系统进行了比较,发现即时分配显著缩短了等待时间。训练了一个Dueling Double Deep Q-Network来近似最优的动态即时策略,其性能与最佳的基于规则的即时策略相当。
-
人工智能研究综述生成模型和强化学习在自动驾驶中的应用
两篇最新的arXiv论文探讨了先进人工智能技术在自动驾驶中的应用。第一篇论文综述了生成式人工智能模型,包括VAE、GAN、生成式Transformer和扩散模型,详细介绍了它们在地图创建、场景生成和轨迹预测等任务中的应用,同时也指出了安全性和可解释性方面的挑战。第二篇论文对四种强化学习算法——拟合值迭代、Rollout Classification Policy Iteration、深度Q网络和D-DDPG——进行了比较分析,评估了它…
-
新的AI智能体R3D2通过文本学习解决多智能体Hanabi问题
一篇研究论文介绍了一种名为循环回放相关性分布式DQN(R3D2)的新型智能体,该智能体专为Hanabi基准游戏设计。该智能体旨在通过实现与不熟悉合作者的协作以及适应各种游戏设置来克服传统多智能体强化学习系统的局限性。R3D2使用文本重新构建任务,并采用分布式多智能体强化学习算法来处理动态观察和动作空间,使其能够同时玩所有游戏设置并将学到的策略转移到新的设置中。
-
新的对手建模技术稳定了竞争性游戏中的深度强化学习
研究人员为在部分可观察竞争性游戏中运行的深度强化学习智能体开发了一种新颖的对手建模技术。该方法利用一个经过滞后重标记对手目标训练的Transformer来生成子目标热力图,然后将其集成到Dueling Double DQN架构中。与标准的TD(0) DQN相比,所提出的方法显著稳定了对称零和觅食游戏中的训练,防止了训练崩溃,并恢复了游戏价值的很大一部分。
-
新型WGAN框架结合强化学习与博弈论,用于资源受限的车辆
研究人员开发了一个自适应多判别器 Wasserstein GAN (MD-WGAN) 框架,专为资源受限的车联网 (IoV) 环境设计。该框架整合了强化学习与博弈论,将机器学习工作负载作为网络服务进行管理,以应对动态拓扑和竞争性优化目标等挑战。该系统利用带有生成器和深度Q网络代理的路边单元来选择判别器并管理分布式训练,而博弈论协调则分配训练周期。在NGSIM轨迹数据上的评估表明,MD-WGAN实现了与最先进GAN相当的预测精度,同时显…
-
新研究探索使用深度学习和优化的先进生存分析技术
两篇新研究论文探讨了生存分析的先进技术,这是一种用于预测事件发生时间的预测方法。第一篇论文侧重于结果依赖的截断和审查,证明了使用一阶优化可以有效地学习Cox回归,其性能优于标准的期望最大化算法。第二篇论文引入了一种受强化学习启发的、新颖的深度学习方法,利用延迟目标网络实现稳定的端到端训练,并提高了长序列数据集上的性能。
-
新的攻击方法针对深度强化学习代理
研究人员开发了一种新的轨迹级对抗攻击方法,旨在针对深度强化学习(DRL)代理。该方法利用环境的可微分模型和温度平滑的代理策略,在递缩视界上优化扰动序列。在各种深度Q网络(DQN)和双重DQN(DDQN)代理的CartPole-v1环境上的实验表明,这种轨迹级攻击在白盒、跨模型和跨算法场景中显著优于标准的每步攻击和随机噪声。
-
AI 攻击者规避物联网入侵检测系统
研究人员开发了一种使用深度 Q 网络 (DQN) 的自适应端口扫描规避技术,以挑战部署在资源受限设备(如 Raspberry Pi 3B+)上的基于机器学习的入侵检测系统 (IDS)。研究发现,虽然静态 IDS 模型对传统扫描具有高检测率,但 DQN 攻击者可以通过学习最佳探测时机、TCP 标志和有效载荷大小来有效规避它们。规避成功率因攻击者可用的特征可见性以及目标 IDS 模型而异,这表明物联网边缘环境需要更强大的防御措施。
-
新启发式算法优化复杂美术馆问题中的代理部署
研究人员开发了新的方法来优化复杂、部分可观察环境中的代理部署。先前为部分可观察合作守卫美术馆问题(POCGAGP)建立的CADENCE算法,通过学习到的角落选择启发式方法得到了增强。这些启发式方法采用通过深度Q学习训练的CNN和GATv2网络,通过减少完全覆盖的步骤和降低高峰代理数量,尤其是在大规模场景中,显著提高了效率。
-
强化学习优化VLSI芯片供电网络
研究人员开发了一个强化学习框架,用于优化超大规模集成(VLSI)芯片中的供电网络(PDN)。这种新方法使用感知工作负载的功耗轨迹来调整PDN资源分配,在保持完整性约束的同时,将平均归一化PDN面积减少了47%。该强化学习代理,特别是深度Q网络,实现了与模拟退火相当的优化质量,但速度显著更快,优化完成速度大约快26倍。
-
新框架将生物神经网络与硅计算接口
研究人员开发了一个名为Embodied Neurocomputation的新框架,旨在连接生物神经网络(BNNs)与传统的硅计算。该框架解决了生物体与数字接口之间最优编码和解码机制的挑战。在一个模拟的网格世界导航任务中,该系统在4000小时内评估了约1300个参数组合,确定了12种能够持续学习的配置。在给定的交互预算内,这些生物-硅混合配置在同一任务上的表现优于优化的硅基深度Q网络(Deep Q-Network)智能体,为未来的生物-…
-
新算法CDE解决了自适应列车调度中的稳定-塑性困境
研究人员开发了一种名为持续深度Q网络扩展(CDE)的新算法,以解决自适应列车调度中的稳定-塑性困境。该问题涉及在动态环境中平衡先前获得的知识的保留与对新信息的适应。CDE利用具有相邻技能的课程学习,并动态调整Q函数子空间以管理环境变化和任务需求。该算法使用EWC减轻灾难性遗忘,同时通过自适应理性激活函数保持塑性,在现有强化学习基线方面显示出显著的改进。
-
强化学习模型在适应性化疗控制方面展现出潜力
研究人员开发并比较了用于适应性化疗控制的闭环深度强化学习(DRL)策略,同时利用了连续(TD3)和离散(DQN)动作空间。这些DRL策略在一个复杂异质性肿瘤模型上进行了训练,并与基于Pontryagin最大值原理(PMP)推导出的传统开环方法进行了基准测试。该研究评估了这些策略在100名具有扰动生长和药物敏感性参数的虚拟患者队列中的泛化能力,揭示了肿瘤缩小与剂量一致性之间的权衡。
-
六种技术增强深度 Q 网络代理,附 Java 实现
Guilherme Alves Silveira 详细介绍了六种可以增强深度 Q 网络 (DQN) 代理能力的技巧。重点在于理解每种技术提供的具体改进,而不仅仅是它们的存在。Silveira 还用 Java 提供了这些方法的增量实现,包括 PER、Double DQN、Dueling DQN、N-step returns、NoisyNets 和 C51。
-
新框架增强了在不可靠无线网络上的机器人控制能力
研究人员开发了一个新的框架,用于在无线网络上实现弹性远程机器人控制。该方法将控制系统与联合嵌入预测架构(JEPA)世界模型相结合,共同学习机器人动力学和无线信道演变。通过预测未来的机器人状态和信道条件,该系统可以优化通信,减少不必要的传输,同时保持可靠的控制。在模拟环境中进行的评估显示,与 PID、DQN 和 Vision Transformers 等传统方法相比,在通信效率、鲁棒性和弹性方面都有显著改进。