Mikhail Maslenik

Tīrtha Bench 推出以评估 LLM 工具调用能力，用于编码代理

一项名为 Tīrtha Bench 的新基准测试已发布，旨在专门评估大型语言模型（LLM）在编码代理任务中的表现。与传统的排行榜不同，Tīrtha Bench 使用一套统一、一致的 800 个工具调用任务测试集和固定的评分方法，以确保公平比较。该基准测试强调，模型的性能可能因托管提供商的不同而存在显著差异，每次正确调用的成本也差异很大。