将图像数据作为base64文本嵌入提示中会急剧增加token数量,导致意外的成本和潜在的上下文窗口问题。一个133KB的图像,当编码为base64并输入到像OpenAI的cl100k_base这样的分词器时,会消耗超过122,000个token。这意味着一个看似很小的图像可能比实际文本内容花费更多,请求成本可能增加95倍。开发者可以通过在将文本发送给LLM之前,剥离base64数据URI和其他大型二进制对象,并用占位符注释替换它们来缓解这个问题。 AI
影响 开发者在使用LLM时,必须了解图像数据是如何被分词的,以避免意外的成本和上下文窗口限制。
排序理由 文章讨论了使用LLM的技术问题和最佳实践,而不是新发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →