研究人员开发了一种名为Brick的新路由系统，旨在根据查询的难度和成本优化不同语言模型的使用。Brick根据六个能力维度对模型进行评分，并估算查询难度以高效地分派请求。这种方法旨在通过智能选择最合适的模型来降低云账单，提供质量和成本之间的权衡。在基准测试中，Brick比单一模型和现有路由器实现了更高的准确性，同时显著降低了成本和延迟。 AI
排序理由 该集群包含一篇详细介绍LLM路由新技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
新的Brick路由器优化LLM使用，兼顾成本和质量
报道来源 [2]
-
Brick: 混合模型（MoM）范式中的空间能力路由
arXiv:2606.13241v1 Announce Type: new Abstract: Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually de…
-
Brick: 空间能力路由用于模型混合 (MoM) 范式
Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually determines model success. Frontier models cost ten…