Sulci 1.0，一个用于 LLM 应用和 AI 代理的开源语义缓存已发布。该工具旨在通过为相似查询（即使措辞不同）提供缓存答案来减少冗余的 LLM 调用。基准测试表明，冷缓存可以处理超过 33% 的分派，而热缓存可以在会话中实现近 100% 的命中率。Sulci 设计为通过最少的代码更改即可轻松集成到现有代理框架中。 AI
影响 通过缓存响应降低 LLM 运营成本，可能加快代理执行速度。
排序理由 AI 工具的产品发布，而非前沿模型或核心研究。
- Apache Software License 2.0
- Docker
- LLM
- MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
- Python Package Index
- React
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
