Decision Transformer
PulseAugur coverage of Decision Transformer — every cluster mentioning Decision Transformer across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
DT-JEPA框架学习可泛化的知识用于离线强化学习
研究人员推出了一种新颖的离线强化学习框架DT-JEPA，它结合了决策Transformer（DT）和联合嵌入预测架构（JEPA）。该方法旨在通过预测潜在空间中的未来表征来从无奖励轨迹中学习可泛化的知识，而不是仅仅依赖预期的未来回报。DT-JEPA捕获未来表征的条件分布，从而深入了解动力学的预测信息和不确定性。在D4RL基准上的实验表明，DT-JEPA能够高效地适应未见过的任务，并且优于现有的离线RL方法。
-
CORMA框架增强多约束离线安全强化学习
研究人员推出CORMA，一个用于离线安全强化学习的新框架，该框架解决了多约束环境的挑战。CORMA采用基于Mamba的架构，与传统的Transformer模型相比具有更高的效率，并采用约束路由方法来融合安全特定专家模型。该方法旨在提高对未见安全预算组合的泛化能力并降低推理延迟。
-
快手部署新型检索模型以提升视频观看时长
研究人员开发了一种可控检索模型（CRM），旨在通过将期望的观看时长作为条件来提高推荐系统的效率。该框架使用深度神经网络和决策Transformer实现，通过输入目标观看时长，无需重新训练即可引导检索。CRM已部署在快手短视频推荐系统中，用户观看时长得到可衡量的提升。
-
新研究探索先进的贝叶斯优化技术 · 跟踪 6 个来源
最近发表在 arXiv 上的研究探索了贝叶斯优化（BO）的进展，这是一种用于优化昂贵的黑盒函数的技术。几篇论文介绍了新的算法和理论框架，以提高 BO 的效率和适用性。一种方法 ELF-BO 利用评估延迟来实现全贝叶斯优化，而不会显著增加成本。其他工作侧重于多目标和多保真度 BO 的统一信息论方法、BO 算法的参数优化以及简化解释并减少非默认参数数量的默认感知策略。此外，研究还探讨了直接遗憾优化和时变 BO 的渐近性能。
-
新的 Trust Guided Decision Transformer 改进了 AI 的长期决策能力
研究人员开发了一种名为 Trust Guided Decision Transformer (TGDT) 的新方法，以提高 Decision Transformer 在 AI 长期决策中的性能。标准的 Decision Transformer 在上下文偏离训练分布时会遇到困难，导致性能下降。TGDT 通过预测误差评估最近的上下文后缀，并仅选择那些保持在校准阈值内的上下文，然后再应用价值引导。在 D4RL 任务上的实验表明，与 vani…
-
新的决策 Transformer 优化无人机机队调度以平衡能源和延迟
研究人员开发了 PrefDT，这是一种新颖的、受偏好条件约束的决策 Transformer，专为移动边缘计算 (MEC) 环境中运行的无人机 (UAV) 机队的多目标调度而设计。该系统旨在优化能源消耗和延迟之间的权衡，允许单个训练模型根据期望的性能点在运行时动态调整调度。PrefDT 利用注意力池化进行状态摘要，并包含一个蒸馏管道来生成训练数据，在模拟中表现优于其他 26 种方法，即使在飞行中推进成本增加的情况下，也能将能源预算保持在…
-
Decision Transformer优化无人机-RIS辅助D2D通信
研究人员开发了一种Decision Transformer模型，用于优化由无人机（UAV）挂载的智能反射面（RIS）辅助的动态设备到设备（D2D）通信。该方法解决了涉及无人机轨迹、姿态和RIS相位调整的复杂优化问题，以在各种约束条件下最大化平均总速率。该模型在不同场景下表现出强大的泛化能力，在零样本迁移方面优于传统的深度强化学习方法，并以更少的交互实现了有竞争力的结果。
-
新的诊断方法可审计推荐系统控制旋钮
研究人员开发了一种新的诊断方法，用于审计使用Decision Transformer的推荐系统中“返回条件”的有效性。该方法测试了返回到目标（RTG）令牌的变化如何影响预测结果，区分了应用于整个历史上下文的干预措施与仅应用于当前令牌的干预措施。在MovieLens 25M上的实验表明，修改整个上下文显著改变了犯罪预测，而仅改变当前令牌的影响很小。然而，在MyAnimeList 2020上进行的类似测试并未产生可辨别的戏剧响应，这表明奖…
-
新的生成式自动竞价方法提高了广告效果和效率
两篇新的研究论文 QGA 和 PRO-Bid 介绍了电子商务广告中生成式自动竞价的先进方法。QGA 利用带有决策 Transformer 主干的 Q 值正则化，来优化策略模仿和行动价值最大化，在实际测试中使广告 GMV 提高了 3.27%，广告 ROI 提高了 2.49%。PRO-Bid 通过采用约束解耦帕累托表示和反事实遗憾优化，解决了精确资源配速和优化效率方面的挑战，在实验中展示了卓越的约束满足和价值获取能力。
-
新框架TAF通过处理不匹配数据改进决策序列学习
研究人员开发了一个名为目标对齐融合（TAF）的新框架，用于改进在使用与目标环境不完全匹配的外部数据进行决策序列学习时的性能。TAF通过根据源数据的目标域结构和可行性一致性进行过滤和重新加权来解决动态变化问题。该方法以TAF-DT的形式实现，使用最大均值差异和最优传输等方法来选择和加权数据片段，最终在控制任务中带来更好的性能和更稳定的序列语义。
-
新的HOBA框架通过分层强化学习增强在线广告竞价
研究人员开发了HOBA，一个旨在改进在线广告竞价系统的新型分层强化学习框架。该系统在不同时间尺度上分离了战略推理、模型选择和出价执行，使用大型语言模型进行超参数推断，并使用SARSA代理进行专家模型选择。在AuctionNet基准测试和大规模A/B测试中的实验表明，HOBA的性能优于现有方法，在实际部署中目标成本提高了3.6%。
-
新的SOV-CAD框架通过分步视觉反馈重建CAD序列
研究人员开发了SOV-CAD，一个用于从图像重建计算机辅助设计（CAD）建模序列的新框架。与一次性生成整个序列的先前方法不同，SOV-CAD通过使用分步视觉反馈来模仿人类设计工作流程。该系统观察目标模型及其逐步构建状态的正交投影，以做出明智的决策，并采用带有强化学习的决策Transformer架构。实验表明，与现有的最先进方法相比，SOV-CAD在准确性和数据效率方面均优于现有方法。
-
新的GLAN框架增强了个性化着陆页推荐
研究人员开发了GLAN，一个新颖的序列建模框架，旨在改进在线平台上的个性化着陆页推荐。GLAN通过捕捉跨日用户动态和分解会话级反馈以实现更精确的局部监督，解决了先前强化学习方法的局限性。在快手平台上的在线实验表明，GLAN在日活跃用户和用户生命周期方面取得了显著的改进。
-
OnDeFog 增强了在丢帧环境下的强化学习性能
研究人员推出 OnDeFog，这是强化学习领域的一项进展，旨在处理丢帧问题。丢帧是由于通信延迟或传感器故障而在实际应用中普遍存在的问题。该新方法将 DeFog 的丢帧缓解技术与在线决策Transformer (ODT) 的在线学习能力相结合。实验结果表明，在丢帧率高的环境中，OnDeFog 的性能优于 ODT；在处理包含大量低回报数据的的数据集时，其性能也优于 DeFog。
-
SlimDT论文提出在顺序建模外注入RTG
研究人员开发了SlimDT，这是Decision Transformer (DT)模型在离线强化学习中的一种改进。SlimDT将Return-to-Go (RTG)令牌从自回归序列中移除，而是直接将其信息注入状态表示中。这种方法将序列长度减少了三分之一，从而提高了推理效率和计算收益。在D4RL基准测试上的实验表明，SlimDT的性能优于标准DT，并达到了与最先进方法相当的性能。
-
QHyer模型通过自适应历史压缩增强离线目标条件强化学习
研究人员开发了QHyer，一种用于离线目标条件强化学习的新方法，解决了部分可观察和历史依赖数据集带来的挑战。QHyer利用Q估计器指导策略拼接，并采用混合注意力-Mamba骨干进行自适应历史压缩。实验表明，QHyer在非马尔可夫和马尔可夫数据集上均取得了最先进的性能。
-
Gemma 4 31B权重通过精细的可训练接口展示跨模态迁移
研究人员已经证明，来自Gemma 4 31B文本预训练模型的冻结权重可以有效地跨不同模态进行重用，包括机器人和联想回忆任务。通过采用一个精细的、可训练的接口，这些未修改的权重在机器人操作基准测试中取得了最先进的结果，并在强化学习中与Decision Transformer的性能相匹配，而可训练参数却显著减少。该研究还确定了对文本任务和跨模态应用都至关重要的特定Transformer头，这表明模型内部存在更深层次的计算重用机制。