PulseAugur
中
实时 15:05:52
English(EN) b12170: moe-cache : LRFU/MQ-like hybrid cache, ClassLRU (#31233)

llama.cpp 发布 b12170，引入新的 moe-cache 混合系统

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 项目已发布 b12170 版本，引入了一个名为 moe-cache 的新混合缓存机制。该缓存结合了 LRFU (Least Recently Used First) 和 MQ (Multi-Queue) 原理，并采用了 ClassLRU 实现。此次更新包括对缓存键计算和评分的优化，并在包括 macOS、iOS、Linux、Android 和 Windows 在内的各种操作系统上进行了测试，同时针对 Apple Silicon 和 openEuler 进行了特定配置。 AI

影响 提高在各种设备上本地 LLM 推理的性能和效率。

排序理由 这是一个特定项目的软件发布，而非前沿模型发布或重要的行业事件。

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp 发布 b12170，引入新的 moe-cache 混合系统

本文如何被排名

Signal score
7 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是一个特定项目的软件发布，而非前沿模型发布或重要的行业事件。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. llama.cpp — Releases TIER_1 English(EN) · sanmai ·

    b12170: moe-cache : LRFU/MQ-like hybrid cache, ClassLRU (#31233)

    <ul> <li> <p>moe-cache : LRFU/MQ-inspired hybrid cache</p> </li> <li> <p>make the clock advance by N tokens: use the real token count (ne[1] is always 1, ids have n_expert_used entries per token)</p> </li> <li> <p>sel is a RESHAPE node, the orig input is in src[0], so sel-&gt;src…

相关实体

相关话题