English(EN) GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices

新的 GAAC 技术为 LLM 推理提供无损 KV 压缩

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-31 04:00

研究人员开发了 GAAC，一种用于大型语言模型 (LLM) 中键值 (KV) 缓存的无损压缩技术。该方法利用指数冗余来减少存储并加速注意力机制，而无需近似 KV 值。GAAC 在 BF16 KV 缓存上实现了显著的压缩率，并在 NVIDIA DGX Spark 和 Apple M4 硬件上展示了性能提升，从而降低了个人设备上 LLM 推理的内存使用量并提高了吞吐量。 AI

影响这项无损压缩技术可以通过降低内存需求和提高推理速度，从而在个人设备上实现更高效的 LLM 部署。

排序理由该集群包含一篇详细介绍 LLM 推理新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇详细介绍 LLM 推理新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 3 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Yipin Guo, Arun M George, Siddharth Joshi · 2026-10-31 04:00

GAAC：个人设备上带宽高效 LLM 推理的无损 KV 压缩

arXiv:2610.38210v1 Announce Type: new Abstract: Weight-only, lossy quantization substantially reduces the storage and memory requirements for serving large language models (LLMs), but the growing key-value (KV) cache remains a bottleneck for long-context inference on personal dev…

本文如何被排名

报道来源 [1]

GAAC：个人设备上带宽高效 LLM 推理的无损 KV 压缩

相关实体

相关话题