PulseAugur
中
实时 20:41:27
实体 tiktoken

tiktoken

PulseAugur coverage of tiktoken — every cluster mentioning tiktoken across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
52
90 天内 95
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 5
层级分布 · 90 天
主题
关系
情绪 · 30 天

20 天有情绪数据

最近 · 第 1/5 页 · 共 96 条
  1. COMMENTARY · CL_370479 ·

    LLM的Token化、上下文窗口和Temperature详解

    大型语言模型通过将文本分解为Token来处理文本,Token是单词或单词部分数的表示。这种Token化过程意味着模型“看不到”单词内的字母,这可能导致不准确,例如在“strawberry”这样的单词中错误计数字母。上下文窗口充当模型的“工作记忆”,限制了它一次可以处理的信息量;一旦超过此限制,对话的早期部分就会被遗忘。此外,“Temperature”设置会影响模型输出的随机性,较低的Temperature会产生更一致的结果,而较高的T…

  2. TOOL · CL_370480 ·

    text-chipper v1.1.0 速度达 37.1 MiB/s,并保证 Token 配额

    text-chipper 库已发布 1.1.0 版本,为 RAG 管道引入了文本分块的重大改进。新版本实现了 37.1 MiB/s 的吞吐量,在严格遵守 Token 配额的同时,性能比其他分块方法高出 11.6 倍。关键的进步包括保证 Token 合规性以及对 Markdown 表格和代码块的结构感知,确保数据保持完整和上下文相关性。

  3. COMMENTARY · CL_370084 ·

    开发者被警告:提示中的图像数据会增加token数量和成本

    将图像数据作为base64文本嵌入提示中会急剧增加token数量,导致意外的成本和潜在的上下文窗口问题。一个133KB的图像,当编码为base64并输入到像OpenAI的cl100k_base这样的分词器时,会消耗超过122,000个token。这意味着一个看似很小的图像可能比实际文本内容花费更多,请求成本可能增加95倍。开发者可以通过在将文本发送给LLM之前,剥离base64数据URI和其他大型二进制对象,并用占位符注释替换它们来缓解这个问题。

  4. COMMENTARY · CL_368795 ·

    行号使LLM代码令牌成本增加42%

    向大型语言模型发送代码时添加行号会显著增加令牌数量和相关成本。测量结果显示,常见的行号格式,如 `cat -n` 样式,可以将代码片段的令牌数量增加多达42%。这会转化为可观的月度开支,特别是对于频繁或大型的代码提交。作者建议采用替代的编号格式或策略,例如仅对相关部分进行编号或使用搜索和替换,以减轻这些增加的成本。

  5. TOOL · CL_363405 ·

    Anthropic 的 Claude token 计数与 OpenAI 的估算存在显著差异

    Anthropic 的 Claude 模型在线 token 计数器通常提供不准确的估算,因为它们依赖于 OpenAI 的分词器。Claude 的实际 token 计数可能显著更高,散文和代码示例显示增加约 25%,SQL 查询几乎翻倍。Anthropic 提供了一个免费的、有速率限制的 API 端点 `/v1/messages/count_tokens`,可以为所有当前的 Claude 模型提供精确的 token 计数,因为它们共享一…

  6. TOOL · CL_362688 ·

    Python的json.dumps默认设置增加了非ASCII文本的LLM提示成本

    Python的`json.dumps`函数中一个常见的默认设置`ensure_ascii=True`,会显著增加包含俄语或中文等非ASCII字符的提示的token数量。这是因为该函数使用\uXXXX序列转义这些字符,而这些序列在GPT 5.x等模型上的token效率较低。通过将默认设置更改为`ensure_ascii=False`,开发人员可以将提示成本降低高达3.6倍,对于高流量应用来说,每月可能节省数千美元。

  7. COMMENTARY · CL_361487 ·

    编码代理需要代码地图,而不是更多工具,以节省上下文

    一种新的编码代理方法表明,与其添加更多工具,不如让这些代理需要一个代码库的“地图”来有效地导航和理解代码。这张地图使用 Graphify 等工具构建,与 grep 和文件读取等传统方法相比,可以显著减少上下文窗口的使用。通过创建函数、类及其关系的结构化表示,代理可以使用单个工具调用来回答复杂查询,从而节省 token 并提高性能。

  8. TOOL · CL_360698 ·

    Python LLM 网关通过缓存和路由将成本降低 82%

    一位开发者概述了一个基于 Python 的网关,用于优化 LLM 成本,模拟日常支出从 80.37 美元减少到 14.52 美元,降幅为 81.9%。该方法包括实现按请求的 Token 日志、每日用户预算、上下文修剪、Prompt 和响应缓存、模型路由以及使用 Batch API 等功能。虽然准确性从 99.96% 略微下降到 99.84%,但成本节约显著。

  9. COMMENTARY · CL_358258 ·

    越南语文本在LLM中的代币数量是英语的1.5-3倍

    使用大型语言模型处理非英语文本,特别是越南语,由于代币化效率低下,会产生更高的成本。越南语可能需要比英语多1.5到3倍的代币才能表达相同的意思,从而导致API账单增加、延迟增加和上下文窗口使用量增加。这主要是因为代币化器主要在英语数据上进行训练,而越南语中的带音标的字符可能会被拆分成多个代币。开发人员可以使用类似tiktoken(适用于OpenAI兼容模型)或llama-tokenize(适用于本地模型)的工具来衡量这些成本,并应将文…

  10. TOOL · CL_358015 ·

    大型语言模型代码上下文:注释和文档字符串才是真正的 token 成本,而不是空白字符

    对 CPython 3.13 标准库的分析显示,注释和文档字符串约占 token 的 34.8%,是发送给大型语言模型的代码中最主要的部分。相比之下,空白字符(如缩进和空行)所占比例要小得多,缩进减少后仅节省 2.5%。这表明,为减少大型语言模型上下文窗口的 token 数量所做的努力,应优先去除代码中的文本内容而非空白字符,因为后者节省的成本很小。

  11. COMMENTARY · CL_357078 ·

    LLM token 计算因模型、语言和版本而异

    Token 计算对于理解 LLM 成本和上下文限制至关重要,不同的模型和语言表现出不同的 token 化效率。OpenAI 提供了开源的 tokenizer `tiktoken` 来进行精确计算,而 Anthropic 和 Google Gemini 等提供商并未公开其 tokenizer,因此需要使用它们各自的计算端点。值得注意的是,较新的 Claude 模型(如 Claude 4.7 及更高版本)的 token 化效率较低,与早期…

  12. TOOL · CL_356349 ·

    MCP 工具定义膨胀 AI 代理成本并降低性能

    由于模型上下文协议 (MCP) 中工具定义的令牌数量庞大,开发人员正面临显著的成本和性能问题。当 AI 代理连接到多个 MCP 服务器时,在实际工作完成之前,工具名称、描述和模式的聚合大小就会使请求膨胀数万个令牌。这不仅增加了 API 成本,特别是对于使用更密集的令牌分词器的 Claude 4.7 等新模型,而且还降低了 AI 选择正确工具的能力。解决方案包括测量每个服务器的令牌使用情况、修剪冗余的模式以及实施惰性加载策略以减少开销。

  13. TOOL · CL_356167 ·

    LLM票据去重成本因二次方扩展而飙升,但分类可节省成本

    使用大型语言模型(LLM)识别重复的支持票据可能因所需的二次方比较增长而变得极其昂贵。将每张票据与所有其他票据进行比较的朴素方法会导致成本随票据数量的平方而增长。一种更有效的方法是先用LLM对票据进行分类,然后仅比较同一类别内的票据,这可以将成本降低多达20倍。然而,票据在不同类别之间的分布不均会降低这些节省,表明可能需要对大类别进行进一步细分。

  14. COMMENTARY · CL_356001 ·

    MCP 工具的上下文窗口使用量被发现比恐慌时暗示的要少

    对 MCP(模型通信协议)工具的最新分析显示,其上下文窗口消耗的严重程度低于此前的担忧。通过衡量各种工具的 token 成本,研究发现即使有 50 个工具,工具定义的总 token 使用量也是可控的。每个工具的成本差异很大,像文件编辑这样更复杂的工具比列出目录这样更简单的工具消耗更多的 token。

  15. TOOL · CL_355483 ·

    osFoundry MCP uses polling for updates, Codex CLI pushes dedicated branches

    osFoundry MCP 服务器采用轮询机制进行资源更新,而不是推送机制,如第一篇文章所述。这种方法涉及客户端定期查询更改,这归因于 Codex CLI 不是持久守护进程的性质。第二篇文章深入探讨了 `propose_gitnest_provider_publication` 工具,该工具允许 Codex CLI 通过创建专用分支并启动草稿拉取请求来将更改推送到 Git 存储库。该工具以及 `propose_gitnest_file…

  16. COMMENTARY · CL_353855 ·

    从头训练的7.57亿参数大语言模型不敌微调后的Qwen模型

    一位用户从头开始训练了一个拥有7.57亿参数的大语言模型,并将其性能与微调后的Qwen2.5-0.5B-Instruct模型进行了比较。作者详细介绍了整个过程,包括数据准备、Transformer架构以及QLoRA等技术的应用。最终,更小的、经过微调的Qwen模型表现优于那个从头训练的、参数量更大的模型。作者解释说,这个结果并不奇怪,而是利用预训练基础模型的必然结果。

  17. TOOL · CL_352923 ·

    osFoundry 的 Codex CLI 工具依赖所有者批准 GitHub PR

    osFoundry MCP 服务器的 Codex CLI 工具在请求拉取到 GitHub 或 GitLab 时,不包含分支名称、标题或目标分支。相反,它依赖存储库所有者在批准过程中提供这些详细信息。该工具的 `propose_gitnest_provider_publication` 函数旨在仅推送一个专用分支,而这一系列文章将对此进行剖析。文章还检查了 `propose_gitnest_file_import` 工具及其对真实文件的…

  18. TOOL · CL_352925 ·

    osFoundry MCP 服务器强制 Codex CLI 轮询更改,因为推送机制不起作用

    osFoundry MCP 服务器的推送机制不起作用,迫使客户端采用轮询方法进行更新。这对于 Codex CLI 尤其重要,因为它不是一个守护进程,因此依赖于序列游标来跟踪更改。服务器提供了一个只读工具 `poll_resource_events` 来实现此目的,要求客户端通过记住每个资源的最后一个事件序列号来管理自己的状态。这种轮询策略被认为适用于 Codex CLI 的间歇性使用模式,而不是连续的推送通道。

  19. TOOL · CL_349006 ·

    LLM提示中的UUID使成本膨胀4.8倍,建议进行提示工程优化

    在LLM提示中使用通用唯一标识符(UUID)作为数据库ID会显著增加成本,因为分词器处理随机字符串的方式。这些标识符在输入GPT-5.6、Claude Haiku 5.5或Gemini 3.8 Flash等模型时,会消耗多达80%的输入令牌,使得调用成本比使用简单的数字索引高出约4.8倍。这种成本低效也延伸到输出令牌,并且使用UUID还可能引入可靠性问题,因为模型可能难以准确地复现它们。建议的解决方案是在提示中使用数字索引,并在应用程…

  20. TOOL · CL_348807 ·

    Codex CLI 和 osFoundry:深入探讨会话运行排队和权限

    这一系列文章详细介绍了 Codex CLI 如何与 osFoundry MCP 服务器交互以排队和管理会话运行。文章解释说,`request_session_run` 工具是独一无二的,因为它可以在没有手动干预的情况下启动工作。该过程需要满足三个条件:具有 `osfoundry:run` 范围的有效令牌、包含“Runner”角色的授权以及为 Codex 助手正确分配的“座位”。文章还涵盖了登录前可用的信息以及客户端在运行排队后如何检索…