KOPA-Bench

新的基准和数据合成方法提高了 LLM 多步工具调用能力

研究人员推出了 KOPA-Bench，这是一个旨在评估开源 LLM 代理在韩国公共 API 上执行多步工具调用性能的新基准。为了解决这些模型在当前任务中的表现不佳的问题，他们开发了 EDGE，一种数据合成方法，该方法可以动态地针对实时 API 对工具调用序列进行图谱绘制和验证。使用 EDGE 进行微调的模型表现出显著的改进，其中一个 9B 参数的模型在 KOPA-Bench 和 BFCL 基准上的性能与一个更大、未经微调的模型相当。