研究人员开发了 Consommé，一种用于优化 Vision Transformer 中拆分推理的新颖方法。该技术通过将 CLS token 压缩为紧凑的潜在表示来解决边缘设备和服务器之间传输中间 token 的高成本问题。然后，这种潜在表示会条件化一个学习到的 Patch Gate，将 patches 合并为固定数量的 tokens，从而在其他方法失败的浅拆分深度下也能实现高效运行。Consommé 在激进的 token 预算下表现出卓越的性能，并在较低预算下匹配微调方法，同时显著降低了部署成本。 AI
影响 该方法可以显著降低部署在资源受限的边缘设备上的 AI 应用的计算成本和延迟。
排序理由 该集群包含一篇学术论文，详细介绍了一种优化 AI 模型推理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
