tiktoken
PulseAugur coverage of tiktoken — every cluster mentioning tiktoken across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
NVIDIA 发布 Open-SWE-Traces 数据集用于 AI 软件工程训练
NVIDIA 发布了 Open-SWE-Traces，一个旨在训练人工智能软件工程任务代理的数据集。MarkTechPost 的一项新教程演示了如何处理该数据集以进行监督微调。该教程涵盖了轨迹解析、代码补丁分析和工具使用指标评估等技术，从而能够创建高质量的训练数据。
-
新的C++分词器'quicktok'比tiktoken快11倍
开发了一个名为quicktok的新C++分词器，与现有解决方案相比，它提供了显著的速度提升。它实现了与tiktoken字节相同的分词，并且速度明显更快，比bpe-openai快2-3.6倍，比tiktoken本身快4-11倍。该分词器支持cl100k、o200k、GPT-OSS、Llama-3和Qwen2.5/3等多种模型，利用数据结构工程来提高性能。
-
新脚本衡量代理工具的 MCP 服务器 Token 税
一个新的审计脚本允许开发人员衡量与 MCP 服务器工具定义相关的“Token 税”，该税在代理执行任何有用操作之前会消耗上下文预算。作者对真实的 @modelcontextprotocol/server-filesystemserver 的分析发现，14 个工具消耗了 2,638 个 Token，约占 200K 上下文窗口的 1.3%。虽然这个特定实例很小，但跨多个服务器的累积效应可能导致 Token 使用量显著增加，正如 Anthr…
-
使用流式处理构建 NVIDIA Nemotron 代码数据集管道
本教程演示了如何使用 NVIDIA 的 Nemotron-Pretraining-Code-v3 数据集的元数据来构建代码数据集管道。该过程不是下载整个数据集，而是涉及流式处理元数据、检查其模式并创建可管理的样本进行分析。本教程详细介绍了重建原始 GitHub URL、获取源文件和估算 token 数量的步骤，最终生成可重复使用的过滤样本以供进一步实验。
-
LLM token计数方法详解，用于成本管理
本文解释了如何在发送请求前准确计算大型语言模型（LLM）的token使用量，这对于成本管理至关重要。文章详细介绍了使用`tiktoken`、`anthropic-tokenizer`和Gemini SDK的三种方法，并提供了估算卢布成本的公式。文章指出，不同语言的token密度差异很大，俄语的token密度低于英语，因此俄语提示的成本更高。
-
AI代理通过原始HTML网络访问面临7倍Token税
一位开发者测量了AI代理访问网页时产生的显著Token开销，发现原始HTML消耗的Token量可能高达实际文本内容的七倍。这些标记语言，包括脚本和CSS，会用噪音填充上下文窗口并增加成本，其中一个页面在原始Token上花费了0.55美元，而在清理后仅花费0.078美元。一个使用标准库和`tiktoken`分词器的简单Python脚本可以剥离这些不必要的标记语言，从而大大减少Token使用量和成本。
-
新的BPE分词算法提供3倍加速
研究人员开发了一种新的增量字节对编码（BPE）分词算法，旨在提高大型语言模型管道的效率。该方法以对数时间处理输入字节，实现了O(n log^2 t)的总体复杂度，与Hugging Face的tokenizers等现有工具相比，速度提高了3倍。该算法还引入了一种用于流式分词的即时输出机制，使其适用于实时应用。
-
VS Code 扩展通过智能粘贴和同步简化 Markdown 编写
一位开发者创建了一个名为 Marksmith 的 VS Code 扩展，通过解决常见的流程痛点来改善 Markdown 编写体验。该扩展具有“智能粘贴”功能，可自动将复制的表格格式化为 Markdown，并从选定的文本和 URL 创建链接。它还实现了编辑器和预览窗格之间的双向滚动同步，并包含一个“文档 X 光”功能来估算文档的 LLM 令牌计数。
-
LLM 成本指南详述 Token 计数与优化策略
本指南通过关注 Token 计数和优化来解释如何管理使用大型语言模型的相关成本。它详细说明了 Token 是分词器生成的文本块，不仅仅是单词或字符，并且提供商通常对输出 Token 收费高于输入 Token。文章建议在 API 调用前使用 `tiktoken` 等库准确计算 Token，并实施提示压缩和硬性输出上限等策略，以减少不必要的 Token 使用并控制开支。