Doval

AI路由框架在多模型系统中平衡成本和准确性

研究人员推出了一种名为“潘多拉的AI模型路由箱”的框架，用于在异构AI系统中高效分配查询。这种方法解决了估计哪个专业模型最适合某个查询会产生费用的挑战。提出的解决方案，即潘多拉的路由器（集中式）和潘多拉的竞价者（去中心化），决定了何时使用更昂贵、更准确的估计器在经济上是可行的。实验表明，潘多拉的路由器在匹配详尽估计的质量的同时，显著降低了价值估计的成本。