tokio-prompt-orchestrator

新的 Rust 服务器缓存 LLM 回答，降低成本并增加功能

一个名为 tokio-prompt-orchestrator 的新的开源 Rust 服务器已被开发出来，用于置于用户和 OpenAI、Anthropic 等 LLM 提供商之间。该工具旨在通过缓存相同的 LLM 回答并防止对同一查询进行多次调用来降低冗余成本。它还包括诸如处理提供商中断的断路器、支出上限和死信队列等功能。为了更高级的去重，它提供了考虑数值和词序的语义缓存，以及用于上下文感知响应的本地文档索引。