一位 Python 开发者发现,Python 的 `json.dumps` 函数中默认的 `ensure_ascii=True` 设置在用于 LLM 提示时,会显著增加令牌使用量并降低准确性。与 JavaScript 的 `JSON.stringify` 不同,`json.dumps` 在此默认设置下会将非 ASCII 字符转换为十六进制转义序列。这导致 Claude 错误地解释了日本客户姓名,并在一个包含 2000 个工单的数据集上,平均使输入令牌数增加了 24%。解决方法是在 `json.dumps` 和 pandas 的 `to_json` 等相关函数中设置 `ensure_ascii=False`。 AI
影响 编程库中的默认设置可能对 LLM 的令牌使用量和准确性产生重大且不可预见的负面影响。
排序理由 开发者发现一个常见的编程库的默认行为对 LLM 提示处理产生了负面影响。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →