作者开发了一个名为 'cartographer' 的工具来测量代码库的 token 计数，以应对将大型代码库纳入 LLM 上下文窗口的挑战。该工具计算磁盘上的字符与 token 之间的比例，这个比例在不同的模型系列和代码结构之间差异很大。主要目标是为开发人员提供 LLM 交互的准确成本和大小估算，使他们能够有效地管理上下文窗口限制。 AI
影响 为开发人员提供了在处理大型代码库时管理 LLM 成本和上下文窗口限制的基本工具。
排序理由 该条目描述了一个用于管理 LLM 上下文窗口的新工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p><em>Handing cartographer files one at a time had been working, so I did the obvious next thing and wrote the four lines that walk a repository and concatenate every source file into one string. Large context windows exist precisely so you can stop being clever about this.</em>…