tiktoken
PulseAugur coverage of tiktoken — every cluster mentioning tiktoken across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
-
tiktoken 低估 Claude 的 token 数量，导致提示词失败 · 跟踪 2 个来源
一位开发者发现，OpenAI 的 tiktoken 库（常用于计算 LLM 提示词的 token 数量）在计算 Anthropic 的 Claude 模型时，token 数量被严重低估。这种差异在开发者代码量大的输入上平均为 14%，当请求接近 Claude 的上下文限制时，导致了许多“提示词过长”的错误。问题在于 tiktoken 使用的是 OpenAI 的分词词汇表，这与 Claude 的不同。开发者发现 JSON 和 Pytho…
-
MCP 通过单一事实来源简化 AI 代理配置
作者描述了一种名为 MCP 的新配置管理方法，旨在解决多个 AI 代理客户端之间配置漂移的问题。通过将服务器列表和技能指针集中到一个由 `mcptoon` 程序管理的单一来源，用户可以确保 Claude Code、Cursor 和 VS Code Copilot 等工具之间的一致性。该系统旨在简化设置和维护，使代理能够访问统一的工具和技能集，而无需手动重复配置。
-
开发者现在可以在API调用前计算GPT Token
开发者现在可以在发送请求到API之前准确地计算GPT Token，从而避免意外的成本和截断。这可以通过Python中的`tiktoken`库和JavaScript中的`js-tiktoken`来实现，它们会根据模型名称处理不同的分词编码。这个过程需要理解Token是子词单元，而不是单词，并且像代码、数字和CJK文本这样的元素会显著增加Token数量。开发者还可以通过考虑消息结构和内容来估算聊天请求的Token使用量。
-
开发人员可以通过分词来预估 LLM 推理成本
开发人员可以通过在部署应用程序之前对 token 使用量进行建模来预估其大型语言模型 (LLM) 的推理成本。主要挑战在于准确预测输入 token，这些 token 除了用户消息外，还包括系统提示、检索到的上下文和对话历史。通过使用 `tiktoken` 等库并了解提供商的定价模型，开发人员可以根据输入和输出的 token 数量计算潜在费用，从而确保生产环境的预算更加准确。
-
AI 代理的 Token 账单：工具模式和技能消耗数百万
一位开发者确定了 AI 代理场景中 Token 消耗的两个主要来源：工具模式（tool schemas）和代理技能（agent skills）。第一笔账单与工具模式相关，对于包含 255 个工具的目录，可能消耗超过 71,000 个 Token，并且模式会在每个回合重新发送。第二笔常常被忽视的账单涉及代理技能，加载整个 SKILL.md 文件可能高达 110 万个 Token。针对这两个问题的建议解决方案是，最初只暴露工具和技能的名称…
-
开发者详述 OpenAI 兼容流式代理中的 6 个生产环境 bug
一位开发者分享了在为流式 LLM 请求构建 OpenAI 兼容代理时遇到的六个特定 bug 的见解。这些问题通常能通过单元测试，但仅在具有真实客户端和模型的生产环境中显现。问题范围从处理带有使用数据但无选项的最终块，到网络层问题，其中 TCP 流边界与服务器发送事件 (SSE) 数据包不匹配。其他 bug 包括根据 ID 而非索引正确合并碎片化的工具调用参数，以及在已发送 HTTP 标头后无法重试请求。
-
开发者发现 OpenAI 的 tiktoken 库对 Claude 令牌计数错误高达 38%
一位开发者发现 OpenAI 的 `tiktoken` 库严重低估了 Anthropic 的 Claude 模型（Claude 4.7）的令牌计数，导致意外的 API 错误和预算超支。在 4,200 次请求中，`tiktoken` 的估算值比实际计费令牌数平均低 17.4%，其中代码量大的提示词估算值低了高达 38%。该开发者还发现，像工具定义和系统提示这样的关键组件经常被手动令牌估算所忽略。建议的解决方案是使用 `/v1/messa…
-
开源 Rust 引擎 Continuum 将 AI 代理 token 使用量削减 96%
一个名为 Continuum 的开源 Rust 内存引擎已被开发出来，以解决 AI 代理的 token 限制和内存问题。该引擎旨在将 token 成本降低高达 96%，并确保在超过 1000 轮的长时间对话中也能完全回忆，避免出现“第 200 轮失忆”和“警报风暴”等问题，同时保持较小的内存占用和零外部依赖。
-
新的分块方法提高了LLM文档翻译质量
研究人员开发了新的文档级机器翻译（DocMT）方法，以克服当前LLM的局限性，即使是具有大上下文窗口的模型。一种方法是固定范围分块（FRC），它使用动态规划将文档分割成特定长度间隔内的块，确保训练和推理之间的一致长度分布以减少不匹配。另一种策略由LectuLibre采用，涉及结构感知分块，该分块尊重文档组织（章节、段落）并在块之间包含重叠以实现连续性。该方法还维护一个运行的术语表，以确保整个翻译过程中术语的一致性。
-
LLM API 成本因二次方 token 计费而飙升；滑动窗口提供解决方案
一位开发者指出了 LLM API 使用中的一个常见陷阱，即由于无状态 API 要求重新发送整个聊天记录，对话成本会呈二次方增长。这会导致账单意外升高，因为每次交互输入的 token 数量都会增加。作者提出了一种解决方案，涉及使用滑动窗口机制，仅保留有限数量的近期对话，从而将成本曲线压平为线性关系。此外，总结对话的较早部分可以进一步降低成本。
-
LLM Token 是一种架构限制，而非无限资源
在生产环境的 AI 系统中，尤其是在 HealthTech 领域，LLM Token 应被视为一种有限的架构限制，而不是无限的资源。开发者可以通过实施“估算、预留、结算”框架来管理这一点，该框架以对待数据库事务的严谨性来对待 LLM 的上下文窗口。这种主动的方法可以防止因非确定性输入大小而导致的截断损失、延迟峰值和成本级联等问题。
-
新工具可视化 LLM Prompt Token 使用情况并检测浪费
一款名为 prompt-flamegraph 的新开源工具已发布，旨在帮助开发人员可视化和分析其 LLM Prompt 中的 Token 使用情况。该工具会生成一个交互式 HTML 火焰图，按类别细分 Token 消耗并估算成本。它还能识别潜在的浪费，例如重复文本、过大的检索增强生成 (RAG) 上下文、冗长的聊天历史记录或过多的已声明工具，并提供优化建议。
-
AI 代理的 token 使用量通过模式优化减少了 49%
一位开发者发现，在用户输入任何内容之前，他们的 AI 代理 Claude Code 就消耗了大量 token（8,248 个），原因是其 48 个工具的 JSON schema 定义在每次请求时都会被发送。这种 token 使用量影响了模型的上下文窗口，并导致其出现明显的“健忘”问题。通过使用一个名为 mcptoon 的工具来简化和压缩这些 schema，token 数量减少了 49%，降至 4,192 个，从而在不影响代理功能的情况…
-
LLM token计数解释：为什么它对成本、上下文和输出很重要
理解token计数对于与大型语言模型交互至关重要，因为模型处理文本的单位是token，而不是单词或字符。不同的模型和文本类型有不同的分词方式，代码和非拉丁脚本通常需要更多的token。OpenAI的`tiktoken`库、Anthropic和Google的API端点以及iLostCount等网页计数器都可以准确衡量token使用量。这对于管理上下文窗口限制、控制API成本以及防止对话或文档意外截断非常重要。
-
新工具mcptoon将AI代理清单成本削减70,000个token
一款名为mcptoon的新的开源Python工具旨在通过优化工具清单的处理方式来降低AI代理的成本并提高其性能。该工具解决了客户端反复为大型工具清单付费的问题，这些清单每会话可能消耗数万个token，从而减慢对话速度并填满上下文。Mcptoon将这些清单压缩成更高效的纯名称目录，节省了token，并允许在没有显著开销的情况下进行更长的对话和安装更多工具。
-
开发者创建上下文压缩器以防止 LLM 聊天记忆丢失
一位开发者创建了一个“面向令牌的上下文压缩器”，以解决大型语言模型在长对话中忘记信息的问题。该方法将聊天中较旧的部分压缩成一条摘要消息，同时保留最近的对话内容，确保姓名、决策和要求等关键细节不会丢失。该方法旨在通过估算令牌数量并在达到预定义阈值时进行摘要，将对话纳入模型的上下文窗口，尤其是在免费端点上，这些端点的限制通常较小。
-
研究发现，LLM 数据 JSON 输出成本是 CSV 的 2.6 倍
由于格式化相关的 token 成本，使用 JSON 从大型语言模型输出数据可能比使用 CSV 贵得多。例如，美化打印的 JSON 由于缩进和重复的键名，成本可能比相同数据的 CSV 高 2.6 倍。虽然将键名重命名为更短的别名可以降低成本，但会影响可读性。对于批量数据提取任务，特别是记录较短的情况下，切换到 CSV 或制表符分隔值 (TSV) 可以大大节省 API 调用成本，尽管 JSON 在输出单个对象或当特定工具调用功能需要使用它…
-
新的CLI工具通过简化配置大幅降低AI代理的代币成本
一个名为mcptoon的新CLI工具已被开发出来，以解决AI代理配置中的效率低下问题，特别是对于Claude Code和Cursor等工具。它将多个代理配置文件整合到一个单一的真实来源中，并显著降低了与工具定义相关的代币成本。通过仅发送工具名称而不是完整的模式，mcptoon将上下文窗口的使用量从数万个代币大幅削减到仅一百多个。
-
AI代理遭受“上下文腐烂”，因为内存随着累积的工具输出来退化
一位开发者发现AI代理中存在一个普遍问题，即它们会忘记先前提供的信息，这种现象被称为“上下文腐烂”。当工具输出累积在代理的上下文窗口中时，就会发生这种情况，导致注意力分散并增加成本。为了解决这个问题，开发了一个追踪工具来衡量这种衰减，结果显示对于较小的模型，准确性在大约4000个token时会显著下降。提出的解决方案是，当上下文窗口超过一定token限制时，从上下文中修剪掉旧的工具输出，而不是简单地追加新信息。
-
开发者实施Token门禁以防止AI模型幻觉
一位开发者在使用AI机器人处理一份长达9000字的README文件时遇到了问题，机器人出现了信息幻觉。问题源于输入内容超出了AI模型的上下文窗口限制，导致其编造细节。为解决此问题，开发者使用`tiktoken`库实现了一个“Token门禁”，在发送请求给AI模型之前测量并限制输入Token数量，确保模型保持在其操作限制内，防止幻觉。