一项在 ZeroGPU 上托管的 DeBERTa-v3-small 模型与 Google 的 Gemini Flash 模型之间的基准测试比较，评估了模型将简短的编辑文本分类到 18 个 IAB 内容分类法 3.1 Tier-1 类别之一的能力。DeBERTa 的准确率为 100%，平均延迟为 1.3 秒，而 Gemini Flash 的准确率为 92%，平均延迟显著更高，为 27 秒。分析表明，对于此类特定的、狭窄的分类任务，与通用大型语言模型相比，专门托管的分类器在准确性、延迟和成本方面可以提供更优越的性能。 AI
影响 与通用 LLM 相比，专用分类器在特定路由和分类任务上可能提供更好的性能和成本效益。
排序理由 模型基准测试，比较了专用分类器与通用 LLM 在狭窄任务上的表现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
