StreamingBench
PulseAugur coverage of StreamingBench — every cluster mentioning StreamingBench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的TwinPast基准测试AI的历史视频推理能力
研究人员推出TwinPast,这是一个旨在评估AI模型在流媒体视频理解中利用历史证据能力的新基准。现有的基准测试往往不能充分测试这项能力,模型有时会基于最近的帧或仅凭问题就能正确回答。TwinPast使用了350对视频,其中历史背景被改变,而其他元素保持不变,专门测试模型随时间追踪变化的能力。初步评估显示,尽管Qwen3 VL 8B和DeepSeek Flash等模型在TwinPast上使用历史输入有所改进,但与通用模型相比仍存在显著…
-
新方法改进流媒体视频动作识别和幻觉检测
研究人员开发了可见状态监督(ViSS)和测试时因果视图搜索(TVS)来改进流媒体视频中的动作识别。ViSS通过在源头接地事件身份和关系探测上进行训练来解决状态欠指定问题,增强了幻觉检测和因果推理能力。TVS通过从最近帧扩展到稀疏事件和紧凑历史视图来适应证据访问,而无需改变学习到的模型。这些方法共同在StreamingBench和OVO-Bench等基准测试中取得了最先进的准确性,同时处理的帧数少于详尽选择方法。
-
新方法通过分离表示和视图选择来改进流式视频动作识别
研究人员引入了可见状态监督(ViSS)和测试时因果视图搜索(TVS)来增强流式视频动作识别。ViSS通过对事件身份、顺序和关系的探测进行训练来解决状态欠指定问题,从而提高幻觉检测和因果推理能力。TVS在不改变已学模型的情况下动态调整证据访问,有利于事件回忆和前向推理。这些方法共同在StreamingBench和OVO-Bench等基准测试中取得了高精度,同时处理的帧数更少。
-
SPARE框架通过自适应检索增强流媒体视频理解
研究人员开发了SPARE,一个旨在通过智能整合历史上下文来增强流媒体视频理解的新型框架。SPARE使用一个轻量级门控来判断近期观察是否足以回答问题,如果不足,则检索相关的历史片段来补充当前上下文。这种方法通过LoRA指令调优进行训练,允许模型联合使用近期观察和检索到的历史信息,并在证据仍然不足时放弃。SPARE在OVO-Bench和StreamingBench等基准测试中实现了比Qwen3-VL-8B-Instruct等现有模型显著的准确性提升。
-
DeltaStreamer 代理通过感知变化的记忆提供类人视频理解
研究人员推出 DeltaStreamer,一个用于理解流视频内容的开源代理。该框架通过采用感知变化的记忆系统和由查询驱动的重放机制来模仿人类的观察和调查。DeltaStreamer 可持续记录视觉变化和结构化记忆,使其能够在回答特定查询时重新审视过去帧并恢复被遗漏的细节。在 OVO-Bench 和 StreamingBench 数据集上的评估表明,DeltaStreamer 的表现优于现有方法。
-
FreshMem 为流式视频大语言模型引入脑启发式记忆
研究人员推出 FreshMem,这是一种新颖的记忆网络,旨在增强多模态大语言模型(MLLMs)的流式视频理解能力。FreshMem 受到人脑记忆过程的启发,采用频率-空间混合记忆方法来维持连续视频流中的短期细节和长期连贯性。该系统包括一个用于表示历史上下文的多尺度频率记忆模块和一个用于情景聚类的空间缩略图记忆模块,在应用于 Qwen2-VL 模型时,显著提高了在 StreamingBench 和 OV-Bench 等基准测试上的性能。
-
Foresight架构赋能流式视觉语言模型实现主动感知
研究人员开发了FORESIGHT,一种用于流式视觉语言模型(VLMs)的新型双流架构,可在无需重新训练的情况下实现主动感知。通过使用两个具有共享权重的Siamese LLM,一个LLM处理传入的视觉数据,另一个则预测未来事件并相应地规划计算资源。这种方法允许模型根据不断变化的场景动态调整其感知策略,从而在OmniPro Online、StreamingBench和OVO-Bench等基准测试中取得显著的性能提升。
-
新框架通过主动内存和详细评估增强流媒体视频理解
研究人员推出了几个新的框架和基准来改进流媒体视频理解。OneStreamer 是一个 4B 模型,通过在未来任务未知之前从视频证据中创建可重用的事实记忆,统一了感知、记忆和主动响应。TRACE 提供了一个条件感知评估框架,明确详细说明证据何时有效、如何维护历史以及如何触发响应,揭示了在准确性方面看似相似的模型之间存在显著的性能差异。此外,MEMO 提出了一个多层次、实体感知的结构化内存,以捕捉跨越广阔时间范围的细粒度视觉信息,而 EG…
-
Realtime-Venus系统实现全双工交互,采用双AI模型 · 追踪2个来源
研究人员推出Realtime-Venus,一个旨在实现更自然人机交互的新型全双工交互系统。该系统利用两个专门的9B模型:Realtime-Venus-Omni用于视听任务,Realtime-Venus-Audio用于语音交互。这些模型通过共享时间线整合了连续感知、对话控制和语音生成,允许在不中断前景对话的情况下进行异步后台推理和工具执行。Realtime-Venus-Omni在视频基准测试中表现强劲,而Realtime-Venus-A…
-
新AI模型通过高效内存管理增强流视频理解 · 跟踪7个来源
研究人员正在开发用于流视频理解的新方法,重点关注多模态大语言模型(MLLMs)的高效内存管理。LatentStream和ShallowStream提出了超越简单存储和检索内存范式的新颖框架。LatentStream将历史证据内化为演化的潜在记忆,而ShallowStream使用浅层模型来高效编码帧和检索索引。其他方法,如CoFiE和StreamScout,也旨在通过解耦证据选择和自适应地决定何时更深入地处理帧来提高效率,同时在各种视频…
-
StreamOPD 通过新的训练后技术增强流式视频理解能力
研究人员推出了一种名为 StreamOPD 的新颖训练后技术,旨在增强流式视频理解能力。该方法利用具有可验证奖励的 on-policy distillation 和时空线索门控机制,在无需额外推理时间内存的情况下,实现了接近教师模型的性能。StreamOPD 在 StreamingBench 和 OVO-Bench 等基准测试中表现出显著的改进,为开源流式视频研究提供了一种透明且可复现的方法。
-
StreamTTT 通过实时感知和长期记忆增强流式视觉语言模型
研究人员开发了 StreamTTT,一种通过平衡实时感知与长期记忆来增强流式视觉语言模型(VLMs)的新方法。与牺牲回忆以换取即时感知的先前方法不同,StreamTTT 将长距离历史集成到注意力上下文之外的快速权重中,而短缓存则处理近期信息。这种设计旨在防止注意力稀释,并提高需要即时理解和历史回忆的任务的性能。在 OVO-Bench 和 StreamingBench 等基准上的评估表明,StreamTTT-4B 在实时感知和向后追溯能…
-
新的VST范式使VideoLLMs能够同时观看和思考
研究人员推出了一种名为视频流思考(VST)的新范式,旨在使在线视频大语言模型(VideoLLMs)能够同时处理和推理视频内容。该方法通过将逻辑推理与传入的视频流相结合,旨在提高实时理解和认知能力,从而降低延迟。VST框架包括一个包含VST-SFT的后训练管道,用于将离线模型适应流式推理,以及通过自我探索进行端到端改进的VST-RL。在StreamingBench和OVO-Bench等基准上的评估证明了VST在各种视频理解任务中的效率和强大性能。
-
FOLIO系统通过聚焦语义记忆增强流媒体视频理解能力
研究人员推出FOLIO,一个新颖的、无需训练的系统,用于理解流媒体视频。FOLIO通过智能压缩和保留信息,解决了连续视频流中无限内存成本的挑战。它优先为关键实体和动作保留详细记录,同时保持周围上下文的紧凑性,利用动态焦点状态和混合检索机制进行高效查询。该方法在OVO-Bench和StreamingBench等基准测试中取得了最先进的性能,同时显著降低了内存需求。
-
SelectStream 框架通过选择性内存分配增强流媒体视频 AI
研究人员开发了 SelectStream,一个用于流媒体视频理解模型的新颖框架,该框架选择性地分配内存,以解决在固定计算预算下处理连续视频数据的挑战。与之前不加区分地注入历史记录的方法不同,SelectStream 使用条件查询的证据预算来优先考虑当前场景感知。该框架采用由惊喜驱动的窗口化、保留优先级的巩固以及图推理来管理内存,在 StreamingBench 和 OVO-Bench 等基准测试中取得了强劲的性能。