研究人员开发了一种新颖的 PW-Pruning 方法,用于选择面向语音的全模态模型中的专家,以在保持性能的同时降低计算负载。这种阶段感知技术为不同的处理阶段构建了独立的权重重要性核,从而在 MMAU-mini 和 MMSU 等基准测试中显著提高了准确性。PW-Pruning 在 Qwen3-Omni 上展示了收益,并在 Qwen3.5-Omni 和 Nemotron 上提供了补充证据,表明语义阶段信息对于这些增强至关重要。 AI
影响 引入了一种优化大型全模态模型的方法,有望降低语音和文本处理的计算成本。
排序理由 详细介绍一种新的模型剪枝技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →