cl100k_base
PulseAugur coverage of cl100k_base — every cluster mentioning cl100k_base across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
AI 代理因过多的工具定义导致成本飙升；开发者分享优化技巧
一位开发者在使用内部代理时遇到了严重问题，包括工具选择不正确、响应缓慢以及 API 成本翻倍。根本原因是添加了三个新的 MCP 服务器（GitHub、PostgreSQL、Jira），使工具总数超过 90 个。每次向 LLM 发送请求时，都会包含所有这些工具的完整定义，在处理用户的实际查询之前，大约会消耗 38,000 个 token。该开发者分享了测量每个 MCP 服务器 token 使用量的方法，并提出了修剪工具模式和实现惰性加载…
-
osFoundry 的 Codex CLI 工具依赖所有者批准 GitHub PR
osFoundry MCP 服务器的 Codex CLI 工具在请求拉取到 GitHub 或 GitLab 时，不包含分支名称、标题或目标分支。相反，它依赖存储库所有者在批准过程中提供这些详细信息。该工具的 `propose_gitnest_provider_publication` 函数旨在仅推送一个专用分支，而这一系列文章将对此进行剖析。文章还检查了 `propose_gitnest_file_import` 工具及其对真实文件的…
-
Codex CLI 和 osFoundry：深入探讨会话运行排队和权限
这一系列文章详细介绍了 Codex CLI 如何与 osFoundry MCP 服务器交互以排队和管理会话运行。文章解释说，`request_session_run` 工具是独一无二的，因为它可以在没有手动干预的情况下启动工作。该过程需要满足三个条件：具有 `osfoundry:run` 范围的有效令牌、包含“Runner”角色的授权以及为 Codex 助手正确分配的“座位”。文章还涵盖了登录前可用的信息以及客户端在运行排队后如何检索…
-
开发人员获得 RAG 令牌预算和上下文管理建议
一份面向开发人员的指南概述了如何在检索增强生成 (RAG) 管道中有效管理令牌预算。它强调，在为检索到的上下文分配空间时，必须考虑总请求，包括系统指令、用户查询、对话历史和模型输出额度。建议开发人员在获取文档之前计算检索预算，并测量最终序列化的上下文，同时考虑任何添加的元数据或格式，而不是依赖于孤立的块计数。该指南还建议将块大小和检索计数视为独立决策，最佳值取决于具体的语料库和查询模式。
-
LLM 的 Token 计数因分词器而异，与单词计数无关
大型语言模型 (LLM) 的 Token 计数与单词计数不直接相关，因为该过程取决于模型使用的特定分词器。文本格式、标点符号甚至语言等因素都会影响文本如何被分割成 Token。要准确计算 Token，必须使用目标 LLM 的分词器，建议使用 OpenAI 的 tiktoken 或特定提供商的 API 等工具。
-
大型语言模型分词器在文本分割上表现出显著差异
大型语言模型的分词器在文本分割方式上可能存在显著差异，导致相同输入产生不同的token数量。例如，一段192个字符的中文代码审查请求，在DeepSeek V4中被分词为111个token，在o200k_base中为133个，在cl100k_base中为172个，差异高达55%。这种差异受词汇量大小、预分词规则以及文本是散文还是代码等因素影响。虽然英文文本的差异较小，但非拉丁字符和代码可能导致更显著的token数量分歧。对于Claude…
-
大语言模型（LLM）的Token：理解Token与单词的区别
理解大语言模型（LLM）如何处理文本至关重要，因为“Token”是基本单位，而非单词。分词器将文本分解成这些Token，然后映射到整数ID。这个过程意味着一个单词可能被拆分成多个Token，或者多个字符可以构成一个Token，具体取决于所使用的特定分词器和编码，例如OpenAI的tiktoken配合cl100k_base或r50k_base。普遍认为的“1个Token约等于4个字符”的经验法则是一种过度简化，在处理代码、URL、表情符…
-
非英语提示词因语言token税而产生更高的AI token成本
像GPT-4o和Gemini这样的AI模型根据token而非单词收费，而给定文本所需的token数量因语言而异。由于tokenizers的训练方式，非英语提示词通常比英语提示词需要更多的token，从而导致了“语言token税”。虽然较新的tokenizers提高了效率，但差异依然存在，建议用户衡量不同模型和语言的提示词成本。此外，提示词优化技术，如删除冗余规则、多余空格和美化打印，可以普遍降低token使用量和成本。
-
分词和 AI 代理技能影响成本和性能
理解语言模型如何处理文本对于管理成本和预测行为至关重要，因为分词会显著影响计费和上下文窗口的使用。不同的分词方法，如 BPE 和 SentencePiece，在不同语言和数据类型上的效率各不相同，而较新的模型在代码和非英语文本上的性能有所提高。对于 AI 代理而言，技能的集成方式也至关重要；声称具有相似触发器、存在隐藏依赖项或默认设置冲突的技能可能导致性能下降和不可预测的结果。仔细选择和管理代理技能配置，考虑更新日期和版本敏感性等因素…
-
印度语言的词元成本是英语的 4.4 倍
最近的一项分析显示，为大型语言模型（LLM）处理印度语言的词元化成本可能比英语高得多，一些语言每句话的词元数量是英语的四倍多。这种词元数量的增加会因为更大的 KV 缓存而直接影响 GPU 成本，导致并发性降低。研究强调，分词器的选择起着至关重要的作用，因为不同的分词器对同一种语言会产生截然不同的成本倍数。在某些情况下，将印度语言罗马化可以降低成本，但并非普遍适用，其有效性取决于所使用的具体分词器和音译方案。
-
LLM token 计算：精确方法 vs. 启发式方法和成本管理
两篇文章讨论了计算大型语言模型（LLM）中 token 的方法，这对于管理上下文窗口、成本和提示长度至关重要。第一篇文章将 OpenAI 的 `tiktoken` 库提供的精确 token 计数与无依赖项的 Python 启发式方法进行了对比，强调了 `tiktoken` 在计费和执行方面的准确性，以及启发式方法在相对大小分析方面的实用性。第二篇文章提供了关于 token 计算的实用建议，解释了什么是 token，提供了快速估算的经验…
-
Byte Language Models Outperform Tokenized Models at Scale
一篇新论文介绍了“字节语言模型”，它们直接将文本作为字节处理，绕过了传统的标记器。虽然最初速度较慢，但这些字节级模型在采用特定技术（如 token-superposition 和 hash embeddings）进行训练时，表现出比子词标记模型更优越的性能和扩展能力。研究表明，更长字节序列带来的计算量增加可能是有益的，并且这些模型可以学会形成自己的文本抽象，甚至在某些下游任务上超越标记模型，并提供更有效的推测性解码。
-
tiktoken 低估 Claude 的 token 数量，导致提示词失败 · 跟踪 2 个来源
一位开发者发现，OpenAI 的 tiktoken 库（常用于计算 LLM 提示词的 token 数量）在计算 Anthropic 的 Claude 模型时，token 数量被严重低估。这种差异在开发者代码量大的输入上平均为 14%，当请求接近 Claude 的上下文限制时，导致了许多“提示词过长”的错误。问题在于 tiktoken 使用的是 OpenAI 的分词词汇表，这与 Claude 的不同。开发者发现 JSON 和 Pytho…
-
分析发现，LLM提示中的漂亮JSON比CSV多使用3倍的token
最近的一项分析比较了七种数据格式在LLM提示中的token使用情况，发现漂亮的JSON比CSV消耗的token多约三倍。这种差异归因于重复的键、标点符号和不必要的缩进，这些都会增加token数量，但对模型没有好处。研究建议在提示中使用CSV或TSV来处理简单的表格数据，使用最小化JSON来处理结构化输出，使用Markdown来处理人类可读的表格，同时建议不要在提示中使用漂亮的JSON和XML，以优化成本。
-
AI 代理的 Token 账单：工具模式和技能消耗数百万
一位开发者确定了 AI 代理场景中 Token 消耗的两个主要来源：工具模式（tool schemas）和代理技能（agent skills）。第一笔账单与工具模式相关，对于包含 255 个工具的目录，可能消耗超过 71,000 个 Token，并且模式会在每个回合重新发送。第二笔常常被忽视的账单涉及代理技能，加载整个 SKILL.md 文件可能高达 110 万个 Token。针对这两个问题的建议解决方案是，最初只暴露工具和技能的名称…
-
开发者发现 OpenAI 的 tiktoken 库对 Claude 令牌计数错误高达 38%
一位开发者发现 OpenAI 的 `tiktoken` 库严重低估了 Anthropic 的 Claude 模型（Claude 4.7）的令牌计数，导致意外的 API 错误和预算超支。在 4,200 次请求中，`tiktoken` 的估算值比实际计费令牌数平均低 17.4%，其中代码量大的提示词估算值低了高达 38%。该开发者还发现，像工具定义和系统提示这样的关键组件经常被手动令牌估算所忽略。建议的解决方案是使用 `/v1/messa…
-
新工具mcptoon将AI代理清单成本削减70,000个token
一款名为mcptoon的新的开源Python工具旨在通过优化工具清单的处理方式来降低AI代理的成本并提高其性能。该工具解决了客户端反复为大型工具清单付费的问题，这些清单每会话可能消耗数万个token，从而减慢对话速度并填满上下文。Mcptoon将这些清单压缩成更高效的纯名称目录，节省了token，并允许在没有显著开销的情况下进行更长的对话和安装更多工具。
-
新的CLI工具通过简化配置大幅降低AI代理的代币成本
一个名为mcptoon的新CLI工具已被开发出来，以解决AI代理配置中的效率低下问题，特别是对于Claude Code和Cursor等工具。它将多个代理配置文件整合到一个单一的真实来源中，并显著降低了与工具定义相关的代币成本。通过仅发送工具名称而不是完整的模式，mcptoon将上下文窗口的使用量从数万个代币大幅削减到仅一百多个。
-
AI 代理因 Tokenizer 不匹配而在生产环境中崩溃，而非模型质量问题
一次技术追溯分析详细描述了一个生产事故，在该事故中，一个 AI 代理在约十次对话轮次后开始忽略其系统提示。问题并非出在模型质量，而是评估工具和实际 API Tokenizer 之间的 Token 计数不匹配。评估错误地估计了提示的大小，导致免费模型较小的上下文窗口无声地截断了旧消息，包括系统提示。修复方法包括在评估和生产中统一使用单一 Tokenizer，并实施上下文预算保护机制，为完成预留空间并更有效地管理消息截断。
-
大型语言模型分词器存在 20% 的差异，影响成本估算
大型语言模型的不同分词器在处理相同文本时会产生显著不同的 token 数量，对于中文文本，OpenAI 的 cl100k_base 和 o200k_base 分词器之间观察到了 20% 的差异。这种差异给成本估算工具带来了问题，特别是对于词汇表不那么透明的模型（如 DeepSeek），可能导致不准确的成本预测。建议开发者使用 API 响应中的实际 token 数量，而不是依赖估算，以确保准确的成本管理和优化。