PulseAugur
中
实时 08:36:42
English(EN) Progressive Cramming: Reliable Token Compression and What It Reveals

新研究解决大型语言模型令牌压缩问题，提高效率

作者 PulseAugur 编辑部 · [2 个来源] ·

两篇新研究论文探讨了压缩大型语言模型令牌使用量的方法，旨在降低计算成本并提高效率。第一篇论文《Progressive Cramming》介绍了一种逐步增长令牌前缀的技术，以识别基本的压缩限制，揭示了完美重建并不能保证有意义的语义压缩。第二篇论文《Out of Sight, Still in Mind》为全模态大型语言模型提出了一种名为 ReMo 的框架，通过对齐音频和视频流并将对象令牌替换为紧凑的文本描述，显著减少了视觉令牌的冗余，在 Qwen2.5-Omni 上实现了 54% 的令牌减少，且准确率没有损失。 AI

影响 这些令牌压缩技术可以显著降低大型语言模型的推理成本并提高其效率，尤其是在多模态应用方面。

排序理由 两篇在 arXiv 上发表的学术论文，详细介绍了大型语言模型令牌压缩的新方法。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新研究解决大型语言模型令牌压缩问题，提高效率

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Dmitrii Tarasov, Timofei Lashukov, Elizaveta Goncharova, Andrey Kuznetsov ·

    渐进式挤压：可靠的令牌压缩及其揭示的意义

    arXiv:2607.21231v1 Announce Type: new Abstract: Token cramming compresses sequences into learned embeddings with near-perfect reconstruction, but fixed token budgets and 99\% accuracy thresholds leave it unclear whether residual errors reflect optimization failures or fundamental…

  2. arXiv cs.CV TIER_1 English(EN) · Suho Yoo, Youngjoon Jang, Hyebin Cho, Joon Son Chung ·

    视而不见，心念不绝：面向 Omni-LLM 的 Token 压缩

    arXiv:2607.21179v1 Announce Type: new Abstract: The goal of this paper is to reduce the input token cost of Omni-modal large language models (Omni-LLMs) at inference time. Omni-LLMs reason jointly over audio, video and text, but the cost of the three streams is highly unbalanced:…

相关实体

相关话题