ToolCallBench

开发者创建 ToolCallBench 以测试本地 LLM 的工具调用能力

一位开发者创建了一个名为 ToolCallBench 的新 Python 工具，用于评估本地大型语言模型（LLM）的工具调用能力。该工具通过提供六个函数——read、list、search、edit、patch 和 run——以及在示例 Python 项目上完成的 20 个任务来评估模型。ToolCallBench 根据模型是否使用正确的工具、执行有效的调用以及将项目保留在预期的最终状态来评分，而不是依赖第二个模型进行评分。