研究人员开发了NOVA,一个旨在通过分析熵变来加速视觉自回归(VAR)模型的新框架。这种无需训练的方法通过根据尺度熵增长动态调整令牌缩减率,在推理过程中识别降低计算成本的最佳点。NOVA旨在通过修剪低熵令牌和重用缓存的残差来提高推理速度并保持生成质量。 AI
影响 该框架可以显著降低自回归模型的计算成本,使其在推理方面更加高效。
排序理由 这是一篇详细介绍加速AI模型新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →