WorldSense
PulseAugur coverage of WorldSense — every cluster mentioning WorldSense across labs, papers, and developer communities, ranked by signal.
-
Omni-Decision系统通过结构化证据状态增强全模态问答能力
研究人员推出了一种名为Omni-Decision的新型代理系统，旨在通过管理证据状态来改进全模态问答。该系统通过为每个查询维护一个结构化状态，解决了视频、音频和图像等各种媒体类型中证据分散的挑战。该状态跟踪已确认的证据、冲突、依赖关系和信息缺口，从而能够进行更有针对性的证据获取和修复。Omni-Decision在OmniGAIA上实现了45.6%的准确率，在WorldSense上实现了58.3%的准确率，显著优于现有基线，展示了显著的性能提升。
-
新方法解决全模态LLM的令牌压缩问题以提高效率
两篇新的研究论文提出了压缩全模态大语言模型（OmniLLMs）令牌序列的方法，以降低推理成本。第一篇论文DASH，使用音频线索动态分割序列，并采用三信号估计器保留重要令牌，在AVUT和VideoMME等基准测试中实现了更高的压缩率和有竞争力的准确性。第二篇论文OmniFocus，采用查询引导式方法，独立估计视频和音频令牌的重要性，旨在减轻模态偏差并保持一致性。OmniFocus在Qwen2.5-Omni模型系列上展示了强大的性能，在准…
-
NVIDIA 发布 Nemotron 3 Nano Omni，统一多模态 AI 以提高效率
NVIDIA 发布了 Nemotron 3 Nano Omni，这是一个开放的多模态模型，能够处理文本、图像、音频和视频。该模型旨在将这些模态统一到单一架构中，从而提高效率并实现更复杂的人工智能智能体。Nemotron 3 Nano Omni 在文档智能、音频理解和视频分析的基准测试中表现出色，与之前的模型和替代方案相比，在吞吐量和推理速度方面均有显著提升。