PluginEval

新的PluginEval基准改进了LLM工具路由评估

研究人员推出PluginEval，一个旨在更有效地评估大型语言模型（LLM）工具路由能力的新诊断基准。该基准通过确保对罕见场景的更好表示、纳入对抗性困难负例以及通过实际API执行来验证LLM判断，解决了现有方法的局限性。PluginEval按能力和意图分解插件，生成不同难度级别的查询，为每个模型创建详细的错误配置文件，超越了简单的聚合准确性。