TechSupport

LLM路由模式详解：Anthropic和Google的方法

大型语言模型中的路由概念涉及对输入进行分类，并将其定向到最适合该任务的专用代理或模型。Anthropic称之为路由，而Google则使用协调器或调度器模式等术语。这种方法允许更集中的提示，并且可以通过将简单查询定向到更小、更便宜的模型，将复杂查询定向到更大、功能更强的模型来节省成本。然而，路由会引入额外的模型调用，可能增加成本和延迟，并且如果分类器不可靠或描述模糊，则存在误分类的风险。