Q0-INST

AI搜索可靠性测试在OpenAI、Gemini和Claude中均失败

对OpenAI、Gemini和Claude的AI搜索能力进行的最新分析揭示了重大的可靠性问题。从5月到9月进行的、用于测量AI搜索准确性的预先注册测试未能证实其有效性。主要发现包括每日响应不一致、测量结果之间相关性低以及许多问题缺乏变异性，这表明表面上的可靠性通常是由于问题多样性而非一致的表现。此外，观察到性能出现不明原因的下降，特别是Claude，这可能归因于搜索结果的变化或评分标准无法区分“未找到信息”与“将其与不相关数据混淆”。