Tokenazire

新的CLI工具帮助开发者评估代码库对LLM上下文窗口的适应性

一位开发者创建了Tokenazire，一个命令行界面工具，旨在帮助用户确定他们的代码库是否能容纳进像Claude和ChatGPT这样的大型语言模型的上下文窗口。该工具扫描本地文件夹或GitHub存储库，使用tiktoken库计算token数量，并提供文件大小的颜色编码明细。它还可以计算项目占模型上下文窗口的百分比，并将整个代码库导出为单个文本文件，方便粘贴到LLM中。