Action Token FDM

新的ACT-LAM框架改进了视频中的潜在动作建模

研究人员引入了ACT-LAM，一个旨在改进视频中潜在动作建模的新框架。该方法解决了一个核心问题，即较低的重构误差并不总是能转化为更好的动力学或下游性能。ACT-LAM通过采用动作查询IDM进行选择性线索提取和动作令牌FDM进行连续状态感知动作条件，来增强动作提取和利用。实验表明，ACT-LAM在VP2基准测试中实现了卓越的潜在动作一致性和前向动力学，在聚合成功率上比现有技术提高了7.6%，同时降低了计算开销。