Watermelon Effect

AI评估差距被戏称为“西瓜效应”，因实际使用效果不及测试

一位AI开发者发现，其AI导师ARIA在实际使用中的表现与其在测试中的表现存在显著差距，这种现象被他称为“西瓜效应”。虽然DeepEval和Ragas等标准评估指标显示ARIA在忠实度和苏格拉底式合规性等方面的得分超过94%，但实际用户互动显示其苏格拉底式合规率仅为22.2%。这种差异的出现是因为该AI针对可预测的测试用例进行了优化，但未能应对那些挑战其核心行为契约的对抗性或意外用户输入。