SquillaRouter

OpenSquilla 发布动态 LLM 路由代理框架

OpenSquilla 发布了一个新的开源代理框架，该框架使用名为 SquillaRouter 的本地分类器，将用户请求动态路由到能够处理该任务且最具成本效益的 LLM。这种方法旨在通过将模型选择视为实时路由问题而非一次性配置，在固定预算内最大化能力和结果。该框架支持广泛的 LLM 提供商和通信渠道，并且其路由器可以从流量数据中学习，以随着时间的推移改进其路由决策。