PulseAugur
中
实时 14:47:50

Simon Willison 发布 ttok 1.0，默认使用 GPT-5/GPT-6 分词器

作者 PulseAugur 编辑部 · [2 个来源] ·

Simon Willison 发布了他命令行工具 ttok 的 1.0 版本，该工具使用 OpenAI 的 tiktoken 库来计算 token。更新包括修复了 Click 警告、更新了持续集成，以及一个用于列出可用模型的新命令。Willison 还指出，该工具现在默认使用 GPT-5/GPT-6 分词器，这是基于研究表明这些模型共享一个分词器，尽管 OpenAI 尚未正式确认这一点。 AI

影响 此 token 计算工具的更新可能会改善开发者与较新 OpenAI 模型交互的工作流程。

排序理由 一个现有工具的发布和更新。

在 Simon Willison 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Simon Willison 发布 ttok 1.0，默认使用 GPT-5/GPT-6 分词器

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
一个现有工具的发布和更新。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
product, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [2]

  1. Simon Willison TIER_1 (HU) ·

    ttok 1.0

    <p><strong>Release:</strong> <a href="https://github.com/simonw/ttok/releases/tag/1.0">ttok 1.0</a></p> <p>I released <a href="https://simonwillison.net/2026/Oct/8/ttok/">ttok 0.4</a>, ran <code>uv tool upgrade ttok</code>, piped a file into the new version... and realized that i…

  2. Simon Willison TIER_1 (HU) ·

    ttok 0.4

    <p><strong>Release:</strong> <a href="https://github.com/simonw/ttok/releases/tag/0.4">ttok 0.4</a></p> <p><code>ttok</code> is my CLI tool for counting tokens, using OpenAI's open source <a href="https://github.com/openai/tiktoken">tiktoken</a> library.</p> <p>It hasn't been in …

相关实体

相关话题