实体 llama_batch_ext

llama_batch_ext

PulseAugur coverage of llama_batch_ext — every cluster mentioning llama_batch_ext across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_291578 · Oct 10 · 07:02

llama.cpp v0.6.0 新增批处理 API 和 GLM-5.3-Flash 模型支持

llama.cpp 的最新版本 0.6.0 引入了一个名为 llama_batch_ext 的新扩展批处理 API。此更新允许混合 token 和 embedding 批处理，以及用于多 token 预测 (MTP) 和 deepstack 模型的每 token 状态 embedding。此外，该版本还增加了对 GLM-5.3-Flash (GLM5-Next) 320B 文本和视觉混合模型以及处理文本和视觉输入的 Clef 决策模型的支持。