llama.cpp 为腾讯 Hy3 模型添加了 MTP 推测解码支持

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-14 02:46

llama.cpp 项目已集成对腾讯 Hy3 模型（也称为 hy_v3）的支持。此次更新包括 MTP 推测解码的实现，该技术允许进行多令牌预测。Hy3 模型是一个拥有 2990 亿参数的大型混合专家模型，包含 80 层以及一个额外的 MTP 层。 AI

影响通过添加对大型混合专家模型（MoE）的支持，增强了本地大语言模型（LLM）的推理能力。

排序理由这是一个向现有开源项目添加特定模型支持的拉取请求，而不是来自前沿实验室的新模型发布。

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一个向现有开源项目添加特定模型支持的拉取请求，而不是来自前沿实验室的新模型发布。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 45 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

r/LocalLLaMA TIER_1 English(EN) · /u/pmttyji · 2026-07-14 02:46

model: 使用 MTP 推测解码为 Hy3 (hy_v3) 添加支持 · Pull Request #25395 · ggml-org/llama.cpp

<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uvwbb2/model_add_hy3_hy_v3_support_with_mtp_speculative/"> <img alt="model: add Hy3 (hy_v3) support with MTP speculative decoding by satindergrewal · Pull Request #25395 · ggml-org/llama.cpp" src="https://ext…