实体
LLM cascades
LLM cascades
PulseAugur coverage of LLM cascades — every cluster mentioning LLM cascades across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM 级联因模型错误相似而失败，违反集成理论
LLM 级联使用更便宜的模型进行初步响应，并在需要时升级到更强大的模型，但由于模型基于相似数据训练，因此会产生相似的错误，导致它们常常无法实现成本节约。这违反了集成理论的原则，该理论要求组件模型具有去相关的故障。为了改进级联，重点应放在创建模型故障的结构多样性上，而不仅仅是改变其成本或大小。
-
新的LLM路由方法解决成本、安全和评估问题 · 跟踪4个来源
研究人员正在开发新的方法来优化大型语言模型（LLM）路由，旨在平衡推理成本与用户满意度和服務水平協議（SLA）。SLARouter是一种在线算法，通过稀疏的用户反馈进行学习，以实现成本最优和SLA合规性，将成本降低高达2.2倍。此外，RouteJudge提供了一个开放平台来评估LLM路由系统，专注于路由器级别的决策质量，并提供了一个用于开发和比较路由算法的工具箱。另外，一种名为强制延迟攻击（FDA）的新攻击被识别出来，它通过强制查询更…