LLM cascades

新的LLM路由方法解决成本、安全和评估问题 · 跟踪4个来源

研究人员正在开发新的方法来优化大型语言模型（LLM）路由，旨在平衡推理成本与用户满意度和服務水平協議（SLA）。SLARouter是一种在线算法，通过稀疏的用户反馈进行学习，以实现成本最优和SLA合规性，将成本降低高达2.2倍。此外，RouteJudge提供了一个开放平台来评估LLM路由系统，专注于路由器级别的决策质量，并提供了一个用于开发和比较路由算法的工具箱。另外，一种名为强制延迟攻击（FDA）的新攻击被识别出来，它通过强制查询更…