SuperCompress，一个旨在减少LLM代币使用量的开源工具，现已在PyPI发布。这个约5K参数的基于CPU的模型会对上下文行的相关性进行评分，仅保留必要信息以实现显著的代币节省。它实现了65%的代币减少而答案质量无损，CPU延迟为60毫秒，并根据MIT许可证发布，包含非商业条款。 AI
影响 通过显著减少代币使用量来降低LLM运营成本。
排序理由 发布一款用于LLM优化的新软件工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
SuperCompress工具在PyPI发布，旨在降低LLM代币成本
报道来源 [1]
-
SuperCompress is now on PyPI! pip install supercompress in 1 line
<p>I just published <strong>SuperCompress</strong> to PyPI! 🎉</p> <p><code>pip install supercompress</code> — that's all it takes.</p> <h2> What is it? </h2> <p>A tiny ~5K parameter CPU policy that scores every line of context for relevance before sending to the LLM. It keeps onl…