实体
OmniLLMs
OmniLLMs
PulseAugur coverage of OmniLLMs — every cluster mentioning OmniLLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新方法大幅削减OmniLLM Token成本，提高效率和准确性 · 跟踪9个来源
研究人员开发了多种新颖的方法来压缩全模态大语言模型（OmniLLMs）中的Token序列，以降低内存和推理成本。这些方法，包括OmniDelta、OmniScope、Progressive Cramming、PCA和ReMo，专注于在音频、视频和文本等模态之间智能地分配和修剪Token。通过解耦模态相关性、利用查询相似性以及识别冗余或分布外Token，这些技术旨在在显著降低计算开销的同时，维持甚至提高准确性。实验表明，GPU内存大幅减…
-
新方法解决全模态LLM的令牌压缩问题以提高效率
两篇新的研究论文提出了压缩全模态大语言模型（OmniLLMs）令牌序列的方法，以降低推理成本。第一篇论文DASH，使用音频线索动态分割序列，并采用三信号估计器保留重要令牌，在AVUT和VideoMME等基准测试中实现了更高的压缩率和有竞争力的准确性。第二篇论文OmniFocus，采用查询引导式方法，独立估计视频和音频令牌的重要性，旨在减轻模态偏差并保持一致性。OmniFocus在Qwen2.5-Omni模型系列上展示了强大的性能，在准…
-
OmniSelect 框架提升全模态大语言模型效率
研究人员推出 OmniSelect，一个旨在提高全模态大语言模型 (OmniLLMs) 效率的新框架。这种无需训练的方法根据音频和视频等不同模态与给定查询的相关性，动态调整令牌压缩策略。通过采用轻量级的 AudioCLIP 模型，OmniSelect 对输入进行分类并选择性地修剪令牌，在无需额外训练的情况下保留关键信息。