glm-4-plus

开发者在真实查询上对 AI 模型进行 A/B 测试，发现最具成本效益的获胜者

一位开发者概述了一种使用真实用户查询对各种 AI 模型进行 A/B 测试的方法，认为标准基准不足以确定模型对特定用例的适用性。提出的方法包括导出用户查询、利用 AIBridge API 实现对多个模型的统一访问，以及实施自定义评分脚本以根据准确性、成本和延迟评估性能。对代码生成查询的初步测试表明，deepseek-coder 在该特定任务的成本效益和准确性方面优于 deepseek-v4-pro 等其他模型。