English(EN) v0.40.0-rc1: mlx: match publisher tokenizer semantics (#18779)

Ollama v0.40.0-rc1 更新 mlx 分词器语义

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-04 14:45

Ollama 发布了 v0.40.0-rc1 版本，其中包括对其 mlx 集成的更新。这些更改侧重于使分词器语义与发布者标准保持一致，确保预分词、Unicode 边界和分词规范化得到一致处理。此次发布还为已发布的分词器添加了共享的 Go 和 Python 参考案例，并解决了配置优先级和字节回退行为问题。 AI

影响改进了通过 Ollama 的 mlx 集成运行的模型底层的分词过程。

排序理由这是一个软件工具的发布，而不是前沿模型或重要的行业事件。

在 Ollama — Releases 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 5 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一个软件工具的发布，而不是前沿模型或重要的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

Ollama — Releases TIER_1 English(EN) · dhiltgen · 2026-10-04 14:45

v0.40.0-rc1: mlx: 匹配 publisher 分词器语义 (#18779)

<ul> <li>mlx: match publisher tokenizer semantics</li> </ul> Honor pretokenizer stage order, split behavior, Unicode boundaries, added-token normalization, and ranked BPE merges. Handle empty added tokens and empty Metaspace input consistently. Add shared Go…

本文如何被排名

报道来源 [1]

v0.40.0-rc1: mlx: 匹配 publisher 分词器语义 (#18779)

相关实体

相关话题