开发者在真实查询上对 AI 模型进行 A/B 测试，发现最具成本效益的获胜者

一位开发者概述了一种使用真实用户查询对各种 AI 模型进行 A/B 测试的方法，认为标准基准不足以确定模型对特定用例的适用性。提出的方法包括导出用户查询、利用 AIBridge API 实现对多个模型的统一访问，以及实施自定义评分脚本以根据准确性、成本和延迟评估性能。对代码生成查询的初步测试表明，deepseek-coder 在该特定任务的成本效益和准确性方面优于 deepseek-v4-pro 等其他模型。 AI

影响 使开发者能够为其特定应用程序找到最具成本效益和最准确的 AI 模型。

排序理由 开发者分享了用于测试 AI 模型的实用指南和工具。

在 dev.to — LLM tag 阅读 →

• AIBridge
• AI Models
• deepseek-coder
• deepseek-v4-flash
• deepseek-v4-pro
• glm-4-plus
• MMLU
• OpenAI
• qwen3-235b-a22b

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →