o200k_base
PulseAugur coverage of o200k_base — every cluster mentioning o200k_base across labs, papers, and developer communities, ranked by signal.
11 天有情绪数据
-
Belcore 披露 GPT-5 上下文管理中的 token 节省差异
一位隶属于 Belcore 的开发者详细介绍了 token 节省如何根据计数方法而变化，使用了带有 GPT-5 的 LongMemEval-S 基准测试。分析显示，与重新发送对话历史记录相比，使用内存层时上下文 token（-93.9%）和计费输入（-91%）的节省非常显著。然而，作者警告说，这些数字并不反映答案质量或每项任务的总成本，并且测试的多通道检索策略并未产生可靠的改进。
-
开发人员获得 RAG 令牌预算和上下文管理建议
一份面向开发人员的指南概述了如何在检索增强生成 (RAG) 管道中有效管理令牌预算。它强调，在为检索到的上下文分配空间时，必须考虑总请求，包括系统指令、用户查询、对话历史和模型输出额度。建议开发人员在获取文档之前计算检索预算，并测量最终序列化的上下文，同时考虑任何添加的元数据或格式，而不是依赖于孤立的块计数。该指南还建议将块大小和检索计数视为独立决策，最佳值取决于具体的语料库和查询模式。
-
LLM 的 Token 计数因分词器而异，与单词计数无关
大型语言模型 (LLM) 的 Token 计数与单词计数不直接相关，因为该过程取决于模型使用的特定分词器。文本格式、标点符号甚至语言等因素都会影响文本如何被分割成 Token。要准确计算 Token，必须使用目标 LLM 的分词器，建议使用 OpenAI 的 tiktoken 或特定提供商的 API 等工具。
-
大型语言模型分词器在文本分割上表现出显著差异
大型语言模型的分词器在文本分割方式上可能存在显著差异，导致相同输入产生不同的token数量。例如，一段192个字符的中文代码审查请求，在DeepSeek V4中被分词为111个token，在o200k_base中为133个，在cl100k_base中为172个，差异高达55%。这种差异受词汇量大小、预分词规则以及文本是散文还是代码等因素影响。虽然英文文本的差异较小，但非拉丁字符和代码可能导致更显著的token数量分歧。对于Claude…
-
单个文档页面可能消耗RAG Token预算的一半
最近对六个热门文档网站的爬取显示，单个页面可能会消耗检索增强生成（RAG）系统Token预算的很大一部分。分析发现，版本历史页面、大量表格和教程通常会占据Token数量的大头。此外，翻译成多种语言的文档可能会不成比例地增加爬取量，即使目标输出语言是英语，非英语版本也可能被索引。作者建议过滤掉更新日志、发布说明和大型页面，并指定目标语言，以优化RAG索引。
-
开发者用 TypeScript 构建了 80 行的 BPE 分词器
一位开发者用 80 行 TypeScript 代码实现了一个字节对编码 (BPE) 分词器，这是 OpenAI 的 GPT-2 和 Anthropic 的 Claude Code 等模型使用的一种方法。该分词器是可逆且无损的，它首先将文本拆分为基本字符类型，然后迭代地将最频繁的相邻字节对合并为新的 token。这个过程可以显著减少 token 数量，如一个测试所示，最小化后的 JSON 数据比格式化后的等效数据使用的 token 数量…
-
AI模型计数困难源于分词，而非理解能力
像GPT-4o和Claude这样的AI模型在执行简单计数任务时会遇到困难，因为它们将文本处理为词元（tokens），而不是字符或单词。像“strawberry”这样的单个单词，根据大小写和上下文的不同，可能被表示为一个或多个词元，这使得AI难以分离和计数特定的字母。这种分词过程，通常使用字节对编码（byte pair encoding），对于理解AI模型如何解释和处理语言至关重要，直接影响成本和上下文窗口的限制，因为定价和限制是基于词…
-
非英语提示词因语言token税而产生更高的AI token成本
像GPT-4o和Gemini这样的AI模型根据token而非单词收费，而给定文本所需的token数量因语言而异。由于tokenizers的训练方式，非英语提示词通常比英语提示词需要更多的token，从而导致了“语言token税”。虽然较新的tokenizers提高了效率，但差异依然存在，建议用户衡量不同模型和语言的提示词成本。此外，提示词优化技术，如删除冗余规则、多余空格和美化打印，可以普遍降低token使用量和成本。
-
Apify 求职工具因输出模式产生显著的 token 成本
对 Apify 平台上 20 个求职 Actor 的最新分析显示，与工具定义相关的 token 成本很高，特别是对于大型输出模式。作者测量了每个 Actor 的描述、输入模式和推断的输出模式的 token 数量，发现输出模式可能占 token 使用量的大部分。在代理处理用户查询之前就会产生此成本，这凸显了代理开发中一个潜在的优化领域。
-
批量处理LLM调用以进行评论分析可降低65%的成本
将大量客户评论批量发送给LLM进行分析可以显著降低成本，每次API调用发送一千条评论可将费用降低65%。然而，成本节省在达到一定批量大小时会趋于平缓，而更大的批量会带来数据丢失的风险，如果模型未能完成请求。使用JSON Lines格式输出并仔细设置`max_tokens`可以减轻这些风险，并确保更多数据被成功处理。
-
Apify 的紧凑型 JSON 大幅降低 LLM 代理的 token 成本
dev.to 上的一篇博文详细介绍了一种新的紧凑型 JSON 输出格式，旨在减少 LLM 代理的 token 使用量。该格式由 Apify 实现，与使用 OpenAI 的 o200k_base tokenizer 的 pretty JSON 相比，token 使用量减少了 33.8%，与 minified JSON 相比减少了 18.3%。这些节省可以转化为处理大型数据集的代理商的巨额成本降低，高流量用户每月潜在节省约 58 美元。该…
-
分析显示MCP服务器工具列表的token成本很高
对来自MCP服务器的34,374个工具列表的最新分析显示，由于token使用量，存在显著的成本影响。虽然中位数服务器只使用8个工具，但平均使用量为18.5个，少数服务器列出了数百个工具和定义，每个工具和定义都可能消耗数千个token。这种广泛的token使用量会伴随每一次模型请求，可能导致巨大的成本，特别是对于拥有多个服务器的客户。诸如提示缓存、按需加载定义和优化定义大小等策略可以帮助减轻这些费用。
-
冗长的LLM系统提示会产生高昂的年费
一篇技术文章强调了大型语言模型中过于冗长的系统提示所带来的显著成本。作者指出，诸如指定乐于助人且友好的语气等常见指令，由于每次API调用都会重复传输，会随着时间的推移累积可观的费用。通过分析token使用量和定价，文章揭示了一个段落每年可能花费数百甚至数千美元，具体取决于模型和流量。作者建议通过删除冗余指令和为稳定的提示组件实施缓存策略来优化提示，以降低这些隐藏成本。
-
印度语言的词元成本是英语的 4.4 倍
最近的一项分析显示，为大型语言模型（LLM）处理印度语言的词元化成本可能比英语高得多，一些语言每句话的词元数量是英语的四倍多。这种词元数量的增加会因为更大的 KV 缓存而直接影响 GPU 成本，导致并发性降低。研究强调，分词器的选择起着至关重要的作用，因为不同的分词器对同一种语言会产生截然不同的成本倍数。在某些情况下，将印度语言罗马化可以降低成本，但并非普遍适用，其有效性取决于所使用的具体分词器和音译方案。
-
Token 计数器揭示了像 ChatGPT 和 Claude 这样的 LLM 的成本差异
理解 token 数量对于高效使用大型语言模型（如 ChatGPT、Claude 和 Gemini）至关重要，因为定价、上下文窗口限制和订阅上限都基于 token。Token 是文本的一部分，其表示方式因模型而异，英文单词通常比法文单词需要的 token 更少。使用 token 计数器可以揭示显著的成本差异，例如法文文本比英文文本成本更高，以及输出 token 比输入 token 更昂贵，从而使用户能够优化提示并有效管理使用量。
-
分析发现，LLM提示中的漂亮JSON比CSV多使用3倍的token
最近的一项分析比较了七种数据格式在LLM提示中的token使用情况，发现漂亮的JSON比CSV消耗的token多约三倍。这种差异归因于重复的键、标点符号和不必要的缩进，这些都会增加token数量，但对模型没有好处。研究建议在提示中使用CSV或TSV来处理简单的表格数据，使用最小化JSON来处理结构化输出，使用Markdown来处理人类可读的表格，同时建议不要在提示中使用漂亮的JSON和XML，以优化成本。
-
研究发现，LLM 数据 JSON 输出成本是 CSV 的 2.6 倍
由于格式化相关的 token 成本，使用 JSON 从大型语言模型输出数据可能比使用 CSV 贵得多。例如，美化打印的 JSON 由于缩进和重复的键名，成本可能比相同数据的 CSV 高 2.6 倍。虽然将键名重命名为更短的别名可以降低成本，但会影响可读性。对于批量数据提取任务，特别是记录较短的情况下，切换到 CSV 或制表符分隔值 (TSV) 可以大大节省 API 调用成本，尽管 JSON 在输出单个对象或当特定工具调用功能需要使用它…
-
管道从历史报纸中提取数十亿词元
研究人员开发了机构报纸管道（Institutional Newspapers Pipeline），这是一个模块化系统，旨在从历史报纸扫描件中提取高质量、结构化数据。该管道与波士顿公共图书馆合作开发，对扫描件进行分段，执行光学字符识别（OCR），然后分析文本的各种特征，如命名实体和主题分类。由此产生的开放数据集包含来自近150万份1795年至1930年间出版的报纸扫描件的超过160亿个词元，使得历史公共生活记录在计算上更易于访问。
-
大型语言模型分词器存在 20% 的差异，影响成本估算
大型语言模型的不同分词器在处理相同文本时会产生显著不同的 token 数量，对于中文文本，OpenAI 的 cl100k_base 和 o200k_base 分词器之间观察到了 20% 的差异。这种差异给成本估算工具带来了问题，特别是对于词汇表不那么透明的模型（如 DeepSeek），可能导致不准确的成本预测。建议开发者使用 API 响应中的实际 token 数量，而不是依赖估算，以确保准确的成本管理和优化。
-
CTXLENS 为开发者分析 AI 上下文窗口 token 使用情况
CTXLENS 是一款开发者工具，旨在分析 AI 上下文窗口的代码库 token 使用情况，其功能类似于用于磁盘空间的 `du` 命令。它帮助开发者了解他们的项目是否符合各种 AI 模型的上下文限制，识别 token 量大的文件，并模拟更改（如删除注释）的影响。该工具支持来自 7 家提供商的 23 个模型，包括 Claude、GPT-4o 和 Grok，并提供实时监控和用于预算检查的 CI 集成等功能。虽然随着前沿模型中更大的上下文窗…