Pi extension

LLM代理通过去重系统提示节省2.9亿个token · 跟踪2个来源

为了解决冗余系统提示浪费token和分散模型注意力的问题，已开发出一种新的LLM代理扩展。该扩展已在Pi Agent上实现，在每次API调用前计算系统提示的哈希值，如果提示与上一轮相比未改变，则将其删除。在超过12000个对话轮次中，该方法实现了93%的去重率，节省了约2.9亿个token，并降低了成本。开发者将这种“编译器级别的死代码消除”理念与处理动态冗余的“操作系统级别的垃圾回收”方法进行了对比。