AI提供商对代码图像与文本的令牌核算进行分析

一篇新发表在arXiv上的研究调查了Anthropic、OpenAI和Google Vertex AI等主要AI提供商在处理源代码时如何核算输入令牌。该研究将原始源代码文本的令牌使用量与使用图像-文本模型将代码渲染成图像的方法进行了比较。结果显示，当代码以图像形式呈现时，令牌使用量显著减少，跨提供商的总减少量在75.8%到86.5%之间。然而，该研究强调了各提供商的API在处理基于图像的代码方面存在显著差异，Gemini在较短代码长度下比文本显示的令牌数量更高，而Anthropic和OpenAI则持续提供较低的令牌数量。 AI

影响 这项研究强调了开发者在使用AI模型处理源代码时，潜在的成本效益和系统设计考量，特别是在令牌化策略方面。

排序理由 分析AI模型输入核算的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• Anthropic
• arXiv
• cs.CV
• Gemini
• Google Vertex AI
• OpenAI
• Pixels for Programs?
• Source Code as Text and Images

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →