omni-modal large language models
PulseAugur coverage of omni-modal large language models — every cluster mentioning omni-modal large language models across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法解决全模态LLM的令牌压缩问题以提高效率
两篇新的研究论文提出了压缩全模态大语言模型（OmniLLMs）令牌序列的方法，以降低推理成本。第一篇论文DASH，使用音频线索动态分割序列，并采用三信号估计器保留重要令牌，在AVUT和VideoMME等基准测试中实现了更高的压缩率和有竞争力的准确性。第二篇论文OmniFocus，采用查询引导式方法，独立估计视频和音频令牌的重要性，旨在减轻模态偏差并保持一致性。OmniFocus在Qwen2.5-Omni模型系列上展示了强大的性能，在准…
-
AVOC框架提升大语言模型长篇音视频理解能力
研究人员开发了AVOC，一个旨在增强全模态大语言模型（Omni-modal LLMs）长篇音视频理解能力的新型框架。AVOC通过采用一个可学习的令牌压缩模块来解决上下文窗口大小和信息冗余的限制。该模块将压缩重构为一个Top-K检索问题，根据相关性、重要性和多样性标准选择一小组令牌。实验表明，AVOC在长篇音视频基准测试中取得了最先进的性能，显著优于现有模型，并在小时级任务上保持了稳健的性能。
-
新型Ex-Omni模型将三维面部动画与大语言模型集成
研究人员开发了Ex-Omni，一个旨在将三维面部动画生成与全模态大语言模型（OLLMs）集成的开源模型。该模型通过使用语音单元来构建时间结构，并利用隐藏的语音表示来捕捉面部线索，解决了大语言模型离散推理与面部运动连续动态之间的衔接挑战。Ex-Omni旨在通过使OLLMs能够生成同步的语音和三维面部动画，从而改善人机交互，与现有级联方法相比，它展示了更快的生成速度和更好的视听同步效果。
-
SEATS 方法通过修剪音视频 Token 削减大语言模型计算量
研究人员开发了一种名为 SEATS 的新方法，以提高全模态大语言模型（om-LLMs）的效率。SEATS 在模型的各个层中修剪冗余的音视频 Token，并根据跨模态融合自适应地调整 Token 选择过程。这种方法在保持高性能的同时，显著降低了计算负荷并加快了推理速度。
-
新框架和基准推动视频大模型效率和理解能力发展
研究人员推出了一种名为EarlyTom的新框架，旨在通过在视觉编码器早期压缩视觉令牌来提高视频大语言模型（Video-LLMs）的效率。该方法在不牺牲准确性的前提下，显著降低了首个令牌生成时间（TTFT）和计算成本。同时，OmniPro和VideoOdyssey等新基准正在开发中，用于评估全模态模型在理解流式和长上下文视频数据方面的先进能力，以解决现有评估方法的局限性。