PulseAugur
中
实时 10:05:23
English(EN) OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

OmniSelect 框架提升全模态大语言模型效率

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出 OmniSelect，一个旨在提高全模态大语言模型 (OmniLLMs) 效率的新框架。这种无需训练的方法根据音频和视频等不同模态与给定查询的相关性，动态调整令牌压缩策略。通过采用轻量级的 AudioCLIP 模型，OmniSelect 对输入进行分类并选择性地修剪令牌，在无需额外训练的情况下保留关键信息。 AI

影响 引入了一种降低全模态大语言模型计算开销的方法，有可能使这些模型在长篇内容中得到更广泛的应用。

排序理由 该集群包含一篇详细介绍改进大语言模型效率新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

OmniSelect 框架提升全模态大语言模型效率

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Peifeng Li ·

    OmniSelect：面向高效全模态大语言模型的动态模态感知令牌压缩

    Omnimodal large language models (OmniLLMs) have recently gained increasing attention for unified audio-video understanding. However, processing long multimodal token sequences introduces substantial computational overhead, making efficient token compression crucial. Existing meth…

相关实体

相关话题