PulseAugur
中
实时 04:55:00
English(EN) OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

新方法解决全模态LLM的令牌压缩问题以提高效率

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新的研究论文提出了压缩全模态大语言模型（OmniLLMs）令牌序列的方法，以降低推理成本。第一篇论文DASH，使用音频线索动态分割序列，并采用三信号估计器保留重要令牌，在AVUT和VideoMME等基准测试中实现了更高的压缩率和有竞争力的准确性。第二篇论文OmniFocus，采用查询引导式方法，独立估计视频和音频令牌的重要性，旨在减轻模态偏差并保持一致性。OmniFocus在Qwen2.5-Omni模型系列上展示了强大的性能，在准确性损失极小的情况下实现了加速。 AI

影响 这些方法可以显著降低运行全模态LLM的计算成本，使其在实际应用中更易于访问和更高效。

排序理由 arXiv上发表的两篇研究论文提出了压缩全模态大语言模型令牌序列的新颖方法。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新方法解决全模态LLM的令牌压缩问题以提高效率

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Bingzhou Li, Tao Huang ·

    DASH：动态音频驱动的语义分块，用于高效的全模态令牌压缩

    arXiv:2603.15685v2 Announce Type: replace-cross Abstract: Omnimodal large language models (OmniLLMs) jointly process audio and visual streams, but the resulting long multimodal token sequences make inference prohibitively expensive. Existing compression methods typically rely on …

  2. arXiv cs.AI TIER_1 English(EN) · Shijie Cao, Qingyu Zhang, Boxi Yu, Yuzhong Zhang, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun ·

    OmniFocus：面向全模态大语言模型的查询引导模态均衡令牌压缩

    arXiv:2607.03050v1 Announce Type: cross Abstract: Omni modal large language models (OmniLLMs) have attracted wide attention for their ability to jointly process audio and video, but they generate large token sequences under audio-visual inputs, leading to substantial inference co…

相关实体

相关话题