研究人员开发了内部化视觉思维（IVT），一个旨在增强多模态大型语言模型中主动视频推理的新框架。与生成中间图像的现有视觉CoT方法不同，IVT在训练期间训练模型预测未来的视觉表示。这使得模型能够在推理时直接进行推理，将延迟显著降低五倍以上，同时在各种视频推理任务上保持或提高性能。研究结果表明，显式的像素空间生成对于有效的视频推理并非必需，内部化的预测世界模型可以带来更准确、更高效的多模态推理器。 AI
影响 这项研究可能带来更高效、更准确的用于视频分析和理解的多模态人工智能系统。
排序理由 该集群描述了一篇关于用于人工智能模型训练和推理的新颖框架的最新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2608.15869v1 Announce Type: cross Abstract: Multimodal large language models increasingly use visual chain-of-thought (Visual CoT) to reason about spatial, temporal, and embodied environments. By generating intermediate reasoning images, Visual CoT provides an intuitive mec…
Internalized Visual Thinking trains multimodal models to predict future frame embeddings during post-training, enabling direct answer generation at inference without synthesizing intermediate images and cutting latency over fivefold.