中国科学院自动化研究所智东太初大模型团队的研究人员开发了一种名为“基于证据的共核集剪枝”(Grounded Message Coreset Pruning, GMC)的新颖方法。该技术解决了多模态模型中Token冗余带来的高内存占用和推理速度慢的重大挑战。GMC通过自适应地从语义、视觉和空间角度选择互补证据,然后有效地将信息从不太重要的Token传输到代表性Token,所有这些都不需要额外的训练或外部模型。 AI
影响 该方法可以显著降低多模态AI模型的计算成本并提高部署效率,从而在实际应用中得到更广泛的应用。
排序理由 该集群在一篇研究论文中介绍了一种用于多模态AI模型效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →