TaskSense

TaskSense框架通过关注相关视觉数据来增强世界模型

研究人员开发了TaskSense，一个用于视觉控制任务中世界模型的新型框架。TaskSense利用可微分空间注意力机制来关注视觉输入的任务相关区域，忽略干扰和背景杂乱。这种方法辅以逆动力学目标，鼓励潜在表征保留对控制至关重要的信息，从而提高性能和鲁棒性，尤其是在视觉干扰环境中。与DreamerV3基线相比，TaskSense在标准基准测试中表现出竞争力，同时在Distracting Control Suite上显著优于它。