一位开发者创建了一个基准测试，用于比较其日常工作中使用的语言大模型 (LLM)。该测试在 Python、C# 和 Bash 中针对 14 个问题对三个模型进行了评估。由于所有测试模型的正确性表现相似，该基准测试侧重于成本和延迟，而非准确性。开发者已公开了基准测试工具和结果，供他人参考。 AI
影响 为开发者根据成本和延迟选择 LLM 提供了实用见解。
排序理由 开发者对 LLM 性能的个人基准测试和观点。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
I kept flip flopping on which LLM to reach for in my day job, so I stopped guessing and built a small benchmark to settle it for myself. 3 models, 14 problems, Python, C#, and Bash. They all pass the ones they'll answer, so accuracy isn't what decides it. What you pay and how lon…