withOhm

withOhm 工具缓存相同的 LLM 提示词以降低成本和提高安全性

一位开发者创建了 withOhm，一个旨在通过缓存相同的 LLM 提示词来降低 AI 应用成本和提高安全性的工具。该系统缓存完全匹配的提示词，而非语义匹配，以避免错误，并将缓存的响应作为流式数据重放，以保持兼容性。此外，withOhm 还包含一个用于网页内容获取的合规层，在数据到达模型之前检查 robots.txt、编辑 PII 并防止 SSRF 攻击。