Qwen2.5-Omni-7B
PulseAugur coverage of Qwen2.5-Omni-7B — every cluster mentioning Qwen2.5-Omni-7B across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新方法解决全模态LLM的令牌压缩问题以提高效率
两篇新的研究论文提出了压缩全模态大语言模型（OmniLLMs）令牌序列的方法，以降低推理成本。第一篇论文DASH，使用音频线索动态分割序列，并采用三信号估计器保留重要令牌，在AVUT和VideoMME等基准测试中实现了更高的压缩率和有竞争力的准确性。第二篇论文OmniFocus，采用查询引导式方法，独立估计视频和音频令牌的重要性，旨在减轻模态偏差并保持一致性。OmniFocus在Qwen2.5-Omni模型系列上展示了强大的性能，在准…
-
新的CoAT框架通过连续思考空间增强大型音频语言模型
研究人员开发了一个名为连续音频思考（CoAT）的新框架，旨在增强大型音频语言模型（LALMs）的能力。CoAT为这些模型配备了一个连续的潜在工作空间，用于在生成响应之前组织声学信息，使它们能够更好地利用语音细节、韵律和其他声学元素。这种方法不会增加自回归解码的成本，并且在与Qwen2-Audio、Qwen2.5-Omni-7B和Audio Flamingo等模型进行测试时，在各种音频理解和推理任务中都显示出性能提升。
-
新的OmniVideo-100K数据集增强了AI的视听推理能力
研究人员推出了OmniVideo-100K，这是一个旨在提高AI系统视听推理能力的新数据集。该数据集通过使用一个自动化引擎从视频创建结构化脚本，确保了跨片段的一致性并将音频链接到视觉来源，从而解决了当前方法的局限性。这种方法采用了实体锚定视频脚本和线索引导问答生成，在微调VITA-1.5和Qwen2.5-Omni-7B等模型时取得了显著的性能提升。
-
HeadRouter 通过路由注意力头来修剪 LLM 中的音频令牌
研究人员推出了一种名为 HeadRouter 的新方法，通过动态修剪音频令牌来压缩大型音频语言模型。与先前假设头重要性均一的方法不同，HeadRouter 认识到这些模型中的不同注意力头根据音频任务具有不同的贡献。这种无需训练的技术可以识别并利用特定注意力头的重要性来保留关键令牌，从而在不牺牲性能的情况下实现显著压缩。实验表明，HeadRouter 实现了最先进的压缩效果，在保留大量令牌的情况下，甚至在 AudioMarathon 和…