Conditioned Sequence Models

新的 Q-Guided Alignment 框架增强了序列模型的可控性

研究人员推出了一种名为 Q-ALIGN DT 的新框架，旨在通过将面向返回（RTG）的输入与学习策略的实际性能进行对齐来增强条件序列模型（CSM）。该方法利用 Q 函数来指导 CSM，确保更高的 RTG 对应于具有更高预期回报的轨迹。在 D4RL 基准测试上的实验表明，Q-ALIGN DT 提供了卓越的可控性和性能，有效地学习了能够泛化到速度跟踪等复杂任务的结构化策略，而之前的方​​法在此类任务上表现不佳。