Contextpress

ContextPress 通过上下文压缩提供免费的 LLM 成本降低方案

ContextPress 是一个免费的 Python 库，旨在通过在将上下文发送到模型之前对其进行压缩来降低大型语言模型 (LLM) 的令牌成本。它使用基于规则的逻辑确定性地运行，无需额外的 API 调用或模型处理。该库提供各种压缩阶段，包括词汇替换、缩写、别名检测、结构最小化和修剪，所有这些都旨在减少令牌使用量，同时不显著丢失关键信息。