llama.cpp 项目已集成对腾讯 Hy3 模型（也称为 hy_v3）的支持。此次更新包括 MTP 推测解码的实现，该技术允许进行多令牌预测。Hy3 模型是一个拥有 2990 亿参数的大型混合专家模型，包含 80 层以及一个额外的 MTP 层。 AI
影响 通过添加对大型混合专家模型（MoE）的支持，增强了本地大语言模型（LLM）的推理能力。
排序理由 这是一个向现有开源项目添加特定模型支持的拉取请求，而不是来自前沿实验室的新模型发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uvwbb2/model_add_hy3_hy_v3_support_with_mtp_speculative/"> <img alt="model: add Hy3 (hy_v3) support with MTP speculative decoding by satindergrewal · Pull Request #25395 · ggml-org/llama.cpp" src="https://ext…