RouteLLM
PulseAugur coverage of RouteLLM — every cluster mentioning RouteLLM across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架优化流式系统中的大语言模型调用
研究人员开发了一个新颖的框架，用于决定在流式推理管道中何时调用昂贵的大语言模型（LLMs）。该方法将问题构建为一个基于风险的序贯停止问题，其中当风险函数超过设定阈值时，触发策略将被激活。该框架提供了性能方面的理论保证，包括事件间隔时间的界限、遗憾分析以及自适应阈值的收敛特性。在涡扇发动机退化数据上的实证验证表明，所提出的异常分数驱动的风险函数显著优于基线方法，实现了高诊断质量和次线性遗憾。
-
LLM路由通过将查询匹配到每美元质量的模型来节省成本
目前仅使用最先进或最便宜的大型语言模型（LLM）的策略已过时。2026年的证据表明，一种动态路由方法，根据模型每美元的质量比率将查询定向到模型，可以显著节省成本并保持高性能。研究表明，大多数查询不需要前沿模型，实施路由器可以将LLM成本降低30-85%，同时保留高比例的质量。
-
AI聊天机器人按任务类型而非难度路由提示
一位开发者正在为其AI聊天机器人构建一个自适应模型路由系统，该系统超越了简单的分级，而是对用户提示进行分类。新方法不是让模型评估自身的难度（这可能因邓宁-克鲁格效应而导致错误路由），而是让模型对提示的任务类型进行分类。这种分类（廉价模型擅长）可以根据预定义的类别（如编码、闲聊或研究）更准确地将提示路由到适当的模型层级。
-
LLM 现在可以口头表达置信度分数，表现优于监督方法
一篇新的研究论文探讨了小型语言模型的零样本置信度估计，证明简单的方法可以优于监督基线。研究发现，不需要训练数据的平均 token 对数概率，在评估模型正确性方面可以媲美甚至超过监督方法。这种方法对于节省成本的策略至关重要，例如本地到云路由，其中廉价的本地模型处理大多数查询，而昂贵的云调用则保留给困难的案例。