Arjun Shah

新的提示压缩器以 100% 的召回率将 LLM 成本削减 65%

Arjun Shah 开发了 SuperCompress，这是一个开源的提示压缩系统，旨在通过智能过滤不相关的内容来降低 LLM 成本。该系统使用轻量级的基于 CPU 的策略，在 GPU 处理之前对低相关性行进行评分和剔除，从而以 100% 的预言召回率实现显著的 token 节省。这种方法不仅降低了计算费用和延迟，还通过减少 LLM 推理相关的能源和水消耗，产生了积极的环境影响。