研究人员推出DynTrace,一个旨在增强多模态大语言模型(MLLMs)四维时空推理能力的新型框架。当前的MLLMs在连续动态场景感知方面存在困难,常常会分割对象运动线索并将对象运动与相机运动混淆。DynTrace通过使用动态轨迹可视化将世界坐标轨迹投影到图像平面,提供几何信息先验来解决这个问题。它还采用动态轨迹令牌,组织成动态轨迹图,以追踪对象随时间的动态和演变。这种方法为MLLMs提供了连续追踪的动态证据,在Dyn-Bench、VLM4D和DSI-Bench等基准测试中取得了最先进的性能。 AI
影响 增强了MLLMs理解和与动态环境交互的能力,这对于具身AI应用至关重要。
排序理由 该集群描述了一篇新的研究论文,其中详细介绍了一个用于提高AI模型能力的框架。
- 4D spatio-temporal reasoning
- arXiv
- DSI-Bench
- Dynamic Trace Graph
- Dynamic Trace Token
- Dynamic Trajectory Visualization
- Dyn-Bench
- DynTrace
- MLLMs
- VLM4D
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →