使用LLM评审员尝试验证AI代理输出的实验揭示了一个持续存在的“75%墙”,即有效输出被拒绝。标准的重跑提示、使用不同提示或校准措辞等方法未能改变这一界限。核心问题在于一个根本性的权衡:更严格的评审员能发现更多错误,但也会拒绝更多合法的工作,这是一个几何约束而非模型缺陷。 AI
影响 凸显了当前LLM评估方法的局限性,表明需要超越提示工程的新方法。
排序理由 该条目描述了LLM在特定任务上的实验结果和性能分析,符合研究的定义。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →