PulseAugur
中
实时 11:49:57
English(EN) StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs

StreamTTT 通过实时感知和长期记忆增强流式视觉语言模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 StreamTTT，一种通过平衡实时感知与长期记忆来增强流式视觉语言模型（VLMs）的新方法。与牺牲回忆以换取即时感知的先前方法不同，StreamTTT 将长距离历史集成到注意力上下文之外的快速权重中，而短缓存则处理近期信息。这种设计旨在防止注意力稀释，并提高需要即时理解和历史回忆的任务的性能。在 OVO-Bench 和 StreamingBench 等基准上的评估表明，StreamTTT-4B 在实时感知和向后追溯能力方面超越了现有模型。 AI

影响 这项研究可能带来更强大的流式视觉语言模型，能够更好地处理复杂、长时间的视觉任务。

排序理由 该集群包含一篇详细介绍视觉语言模型新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

StreamTTT 通过实时感知和长期记忆增强流式视觉语言模型

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Joya Chen, Zeyun Zhong, Mike Zheng Shou ·

    StreamTTT：在流式VLMs中调和实时感知与长期记忆

    arXiv:2608.13416v1 Announce Type: new Abstract: Humans effortlessly perceive the present while remembering the past, yet streaming VLMs often trade off real-time perception against long-term memory. Prior work shows that shortening the context can sharpen current-scene perception…

相关话题