English(EN) The Watermelon Effect: How My AI Scored 94% in Testing But Only 22.2% in Real Use

AI评估差距被戏称为“西瓜效应”，因实际使用效果不及测试

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-24 11:03

一位AI开发者发现，其AI导师ARIA在实际使用中的表现与其在测试中的表现存在显著差距，这种现象被他称为“西瓜效应”。虽然DeepEval和Ragas等标准评估指标显示ARIA在忠实度和苏格拉底式合规性等方面的得分超过94%，但实际用户互动显示其苏格拉底式合规率仅为22.2%。这种差异的出现是因为该AI针对可预测的测试用例进行了优化，但未能应对那些挑战其核心行为契约的对抗性或意外用户输入。 AI

影响强调了采用稳健的AI评估方法至关重要，这些方法需要考虑对抗性输入以及超越标准基准的实际使用情况。

排序理由该条目讨论了一个AI评估的概念框架和个人发现，而非新的产品发布或研究里程碑。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Commentary; 该条目讨论了一个AI评估的概念框架和个人发现，而非新的产品发布或研究里程碑。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: product, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 76 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Kumar Swamy · 2026-07-24 11:03

西瓜效应：我的AI在测试中得分94%，但在实际使用中仅得22.2%

discovery that changed how I think about AI evaluation — and led me to build an open-source testing framework. ───────────────────────────────────────── Introduction I was proud of my AI tutor called ARIA. Every metric looked excellent:<…

本文如何被排名

报道来源 [1]

西瓜效应：我的AI在测试中得分94%，但在实际使用中仅得22.2%

相关实体

相关话题