中文(ZH) KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

新型 EdgeRock-4B 模型将 KV Cache 使用量削减 99%，吞吐量提升 6 倍

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 06:45

香港科技大学和卡内基梅隆大学的研究人员与燕山科技合作，开发并开源了一个名为 EdgeRock-4B 的新模型。该模型将 KV Cache 的使用量显著减少了 99.1%，能够在不增加内存消耗的情况下实现更长的上下文窗口。与基础模型 Qwen3.5-4B 相比，EdgeRock-4B 的吞吐量提高了 6.42 倍，同时保持了强大的推理能力。这项创新在于一种名为 Rock Memory Anchors (RMA) 的新型内存机制，该机制选择性地存储上下文中的关键细节，从而实现高效的长上下文推理。 AI

影响实现了更高效的长上下文推理，可能降低硬件成本并为大型语言模型带来新应用。

排序理由开源发布了一款在推理效率方面具有重大技术创新的新模型。 [lever_c_demoted from frontier_release: ic=1 ai=1.0]

在量子位 (QbitAI) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

新型 EdgeRock-4B 模型将 KV Cache 使用量削减 99%，吞吐量提升 6 倍

本文如何被排名

Signal score: 26 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Significant; 开源发布了一款在推理效率方面具有重大技术创新的新模型。 [lever_c_demoted from frontier_release: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

量子位 (QbitAI) TIER_1 中文(ZH) · 一水 · 2026-10-26 06:45

KV Cache 削减 99%，单卡吞吐量飙升 6 倍，港科大与 CMU 携手燕山科技开源新模型

一张卡，512路长推理同时跑

本文如何被排名

报道来源 [1]

KV Cache 削减 99%，单卡吞吐量飙升 6 倍，港科大与 CMU 携手燕山科技开源新模型

相关实体

相关话题