tiktoken
PulseAugur coverage of tiktoken — every cluster mentioning tiktoken across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
Claude 代码用户在未使用的 MCP 服务器上耗尽 Token，开发者发现
一位开发者发现，由于 MCP 服务器的配置方式，他们的 Claude 代码设置消耗了过多的 Token，导致对话过早结束和模型性能下降。通过审计和移除未使用的 MCP 服务器，然后使用一个名为 mcptoon 的工具压缩剩余服务器的模式，开发者显著减少了 Token 开销。这个问题似乎在拥有多个 MCP 服务器的用户中普遍存在，影响了模型的效率和对话质量。
-
研究发现，Claude的tokenizer计算模式字节数比tiktoken高64%
一位独立研究人员最近进行的一项测量研究揭示了不同的LLM tokenizer（特别是Claude和tiktoken）在计算相同模式数据token时存在显著差异。研究发现，Claude的tokenizer计算的模式字节数比广泛使用的离线免费tokenizer tiktoken高约64%。当使用Claude处理依赖于模式序列化的工具时，这种差异可能导致对上下文窗口使用量的严重高估，从而影响成本计算和实际上下文窗口大小。研究还强调了工具暴露…
-
LLM分词器解析：为什么提示在不同模型上的成本不同
理解LLM分词器的工作原理对于管理成本和预测模型行为至关重要。分词器通常基于字节对编码（BPE），将文本分解为模型作为整数处理的子词单元。这些单元在训练数据中的频率决定了文本如何被分块，导致像Claude、Gemini和OpenAI的GPT系列等不同模型对相同文本的标记计数存在差异。虽然OpenAI提供了开源工具`tiktoken`进行精确计数，但其他模型需要特定的API端点来进行准确的标记估算。
-
大型语言模型分词器存在 20% 的差异，影响成本估算
大型语言模型的不同分词器在处理相同文本时会产生显著不同的 token 数量，对于中文文本，OpenAI 的 cl100k_base 和 o200k_base 分词器之间观察到了 20% 的差异。这种差异给成本估算工具带来了问题，特别是对于词汇表不那么透明的模型（如 DeepSeek），可能导致不准确的成本预测。建议开发者使用 API 响应中的实际 token 数量，而不是依赖估算，以确保准确的成本管理和优化。
-
大语言模型用户发现缓存命中率是关键成本杠杆，而非 token 数量
一位用户跟踪了自己 30 天的大语言模型使用情况，发现总账单约为 0.90 美元，表明在低使用量场景下成本优化是不必要的。主要的成本驱动因素是对话历史，其中缓存命中与未命中导致了六倍的价格差异。实施的更改包括冻结系统提示、在非高峰时段安排任务、限制重试次数以及使用 API 响应中的确切 token 数量而不是估算值。
-
开发者构建本地CLI审计LLM账单，发现6.9%的过度收费
一位开发者创建了一个名为SpendGuard的本地命令行工具来审计大型语言模型（LLM）的支出，发现由于缓存的token按全价收费，导致其OpenAI账单被过度收费了6.9%。该工具使用Python构建，充当本地代理，生成独立的收据，并可以强制执行硬预算截止，以防止意外成本。SpendGuard旨在建议更具成本效益的模型选择和缓存策略，有可能显著降低支出，同时确保用户的API密钥和数据保留在本地机器上。
-
开发者使用新工具将 AI Agent 的 Token 用量削减 91%
一位开发者创建了一个名为 `mcptoon` 的工具，以显著减少与 AI 编码代理中的 MCP (Multi-Cloud Platform) 服务器集成时的 token 用量。该工具通过将 JSON schema 压缩成更紧凑的格式来实现这一点，节省高达 91% 的 token 并降低成本。它还引入了一种 TOON 格式用于结果，这种格式更易于人类阅读，并且比标准 JSON 使用更少的 token。开发者在最初使用了一个增加了 tok…
-
开发者创建 TOON 格式，将 LLM token 浪费减少 83%
一位开发者创建了一个名为 `mcptoon` 的命令行工具，以减少与 Claude、GPT-4 和 Gemini 等大型语言模型 (LLM) 交互时的 token 浪费。该工具将标准的 JSON 输出转换为一种更紧凑的格式，称为 TOON（Token-Optimized Object Notation），它删除了不必要的结构语法，如大括号、引号和逗号。这种优化经过 `tiktoken` 分词器的验证，可以显著减少 token 使用量，…
-
Node.js 团队被建议对 LLM JSON 提取模型进行成本和准确性基准测试
在使用 LLM 进行批量 JSON 提取时，Node.js 团队应优先比较模型在带标签文档上的性能，而不是仅仅关注宣传价格。至关重要的是在每次请求前计算 token 数量，以优化成本和管理文档大小，并利用 `tiktoken` 等库来提高准确性。该过程包括设置一个 Python 评估工具，在相同数据上比较候选模型，并确保所选模型在集成到更大的数据管道之前满足预定义的准确性和有效对象率阈值。
-
jcodemunch-mcp 通过按需加载工具模式来降低 AI 成本 · 跟踪 1 个来源
一款名为 jcodemunch-mcp 的软件开发工具实施了一项新策略，以降低与 AI 工具使用相关的成本。这种方法涉及按需加载工具模式，而不是在每次请求中包含整个目录，这种方法得到了近期研究的支持，该研究表明可以显著减少 token 并加快工具选择。该工具的开发者已将这种基于检索的加载设置为新安装的默认设置，旨在为用户提供具体的、自行生成的成本节省数据，可用于预算讨论。
-
开发者寻求更新的工具来估算 Anthropic Claude 的 Token 和成本
开发者正在寻找更新的工具来准确估算 Anthropic 的 Claude 模型（尤其是 Claude Code）的 Token 数量和成本。GitHub 等平台上的现有计算器已过时，未能反映 Sonnet 5 和 Haiku 4.5 等模型最近的价格变动，也未能反映新模型增加的 Token 生成量。社区正在寻找能够处理准确 Token 计数、提示缓存细分和实时会话成本估算以防止预算超支的解决方案。
-
新的CLI工具帮助开发者评估代码库对LLM上下文窗口的适应性
一位开发者创建了Tokenazire，一个命令行界面工具，旨在帮助用户确定他们的代码库是否能容纳进像Claude和ChatGPT这样的大型语言模型的上下文窗口。该工具扫描本地文件夹或GitHub存储库，使用tiktoken库计算token数量，并提供文件大小的颜色编码明细。它还可以计算项目占模型上下文窗口的百分比，并将整个代码库导出为单个文本文件，方便粘贴到LLM中。
-
GigaToken 声称 LLM 分词速度提升 1000 倍 · 已追踪 4 个来源
GigaToken 是一款新发布的、用 Rust 开发的开源分词器，声称其速度比 Hugging Face Tokenizers 和 Tiktoken 等现有解决方案快 1000 倍。这种显著的速度提升，可能达到每秒千兆比特，有望大幅缩短大型语言模型的数据预处理时间。然而，它对 LLM 推理延迟的实际影响可能有限，因为分词通常只占整体处理时间的一小部分，尽管它对于延迟敏感的用户体验或大规模数据准备等特定用例可能至关重要。
-
LLM评估套件因缺少成本控制触发3900美元账单
一位开发者因LLM评估套件缺乏成本控制，一夜之间收到3900美元的意外账单。该套件设计为每次触发运行1200个评分案例，却被依赖项机器人（dependency bot）的拉取请求（pull requests）反复执行，导致过多的API调用。此事件凸显了在监控token支出方面存在重大疏忽，促使开发者实施了多项防护措施，包括使用`tiktoken`设置预先的成本上限、结果缓存、在非主分支上进行采样以及设置token支出速率警报。
-
NVIDIA 发布 Open-SWE-Traces 数据集用于 AI 软件工程训练
NVIDIA 发布了 Open-SWE-Traces，一个旨在训练人工智能软件工程任务代理的数据集。MarkTechPost 的一项新教程演示了如何处理该数据集以进行监督微调。该教程涵盖了轨迹解析、代码补丁分析和工具使用指标评估等技术，从而能够创建高质量的训练数据。
-
新的C++分词器'quicktok'比tiktoken快11倍
开发了一个名为quicktok的新C++分词器，与现有解决方案相比，它提供了显著的速度提升。它实现了与tiktoken字节相同的分词，并且速度明显更快，比bpe-openai快2-3.6倍，比tiktoken本身快4-11倍。该分词器支持cl100k、o200k、GPT-OSS、Llama-3和Qwen2.5/3等多种模型，利用数据结构工程来提高性能。
-
新脚本衡量代理工具的 MCP 服务器 Token 税
一个新的审计脚本允许开发人员衡量与 MCP 服务器工具定义相关的“Token 税”，该税在代理执行任何有用操作之前会消耗上下文预算。作者对真实的 @modelcontextprotocol/server-filesystemserver 的分析发现，14 个工具消耗了 2,638 个 Token，约占 200K 上下文窗口的 1.3%。虽然这个特定实例很小，但跨多个服务器的累积效应可能导致 Token 使用量显著增加，正如 Anthr…
-
使用流式处理构建 NVIDIA Nemotron 代码数据集管道
本教程演示了如何使用 NVIDIA 的 Nemotron-Pretraining-Code-v3 数据集的元数据来构建代码数据集管道。该过程不是下载整个数据集，而是涉及流式处理元数据、检查其模式并创建可管理的样本进行分析。本教程详细介绍了重建原始 GitHub URL、获取源文件和估算 token 数量的步骤，最终生成可重复使用的过滤样本以供进一步实验。
-
LLM token计数方法详解，用于成本管理
本文解释了如何在发送请求前准确计算大型语言模型（LLM）的token使用量，这对于成本管理至关重要。文章详细介绍了使用`tiktoken`、`anthropic-tokenizer`和Gemini SDK的三种方法，并提供了估算卢布成本的公式。文章指出，不同语言的token密度差异很大，俄语的token密度低于英语，因此俄语提示的成本更高。
-
AI代理通过原始HTML网络访问面临7倍Token税
一位开发者测量了AI代理访问网页时产生的显著Token开销，发现原始HTML消耗的Token量可能高达实际文本内容的七倍。这些标记语言，包括脚本和CSS，会用噪音填充上下文窗口并增加成本，其中一个页面在原始Token上花费了0.55美元，而在清理后仅花费0.078美元。一个使用标准库和`tiktoken`分词器的简单Python脚本可以剥离这些不必要的标记语言，从而大大减少Token使用量和成本。