SmartCrusher

AI编码代理JSON压缩器将token数量减少70-90%

一位开发者创建了一个名为SmartCrusher的工具，该工具已集成到Copium项目中，旨在通过压缩大型JSON数组来显著减少AI编码代理的token使用量。该工具采用统计相关性评分，利用基于方差的变化点检测、用于最优项选择的Kneedle算法以及带有可选嵌入相似度的BM25来识别并仅保留最关键的信息。压缩后的数组存储在缓存中，允许LLM在必要时检索被省略的数据，检索发生在不到3%的情况下。