adaptive-memory-multi-model-router

新型LLM路由器将成本降低62%，并提高响应质量

一款名为adaptive-memory-multi-model-router的新型开源工具，解决了LLM基础设施中的三个关键问题：高成本、次优响应选择和不透明的开销。它能智能地将查询路由到成本效益最高且有能力的模型，API费用最高可降低62%。该路由器还通过并行运行多个模型并根据特异性、结构和相关性选择最佳结果来提高响应质量。此外，它还提供了自身运行开销的透明基准数据，虽然不为零，但其带来的显著成本节约是值得的。