PulseAugur
中
实时 22:18:18
English(EN) llama.cpp v0.6.0 New llama_batch_ext extended batch API with llama_process supporting mixed token/embedding batches and per-token state embeddings for MTP and d

llama.cpp v0.6.0 新增批处理 API 和 GLM-5.3-Flash 模型支持

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 的最新版本 0.6.0 引入了一个名为 llama_batch_ext 的新扩展批处理 API。此更新允许混合 token 和 embedding 批处理，以及用于多 token 预测 (MTP) 和 deepstack 模型的每 token 状态 embedding。此外，该版本还增加了对 GLM-5.3-Flash (GLM5-Next) 320B 文本和视觉混合模型以及处理文本和视觉输入的 Clef 决策模型的支持。 AI

影响 通过改进的批处理和对新的混合模型及决策模型的支持，增强了大型语言模型的推理能力。

排序理由 这是一个开源项目关于 AI 模型推理的软件发布，包括新功能和模型支持。[lever_c_demoted from research: ic=1 ai=1.0]

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp v0.6.0 新增批处理 API 和 GLM-5.3-Flash 模型支持

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
这是一个开源项目关于 AI 模型推理的软件发布，包括新功能和模型支持。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
1 days old
Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. Mastodon — mastodon.social TIER_1 English(EN) · whatsnew_fyi ·

    llama.cpp v0.6.0 新增 llama_batch_ext 扩展批处理 API，支持 llama_process 处理混合 token/embedding 批处理和用于 MTP 和 d 的每个 token 状态 embedding

    llama.cpp v0.6.0 New llama_batch_ext extended batch API with llama_process supporting mixed token/embedding batches and per-token state embeddings for MTP and deepstack models; Support for the GLM-5.3-Flash (GLM5-Next) 320B text and vision hybrid model; Support for the Clef decis…

相关实体

相关话题