prompt router

新研究量化LLM路由潜力和局限性

一篇题为“机会并非可实现性：多LLM路由的选择有效诊断”的新研究论文介绍了一种方法，可以准确衡量使用多个语言模型进行查询路由的潜在收益。该论文指出了现有“神谕路由”诊断的缺陷，并提出了选择有效置信区间来解决这些问题。在各种语言模型家族和基准测试上的实验表明，虽然全信息神谕显示出巨大的机会，但实际的提示路由器只能捕捉到这一潜力的很小一部分，而强大的路由器则显示出比最佳单一模型有适度但可验证的改进。