一项新的研究论文对使用大型语言模型（LLM）作为裁判来评估和选择闭环再生任务（尤其是在表格识别方面）的输出的可靠性提出了质疑。研究发现，LLM裁判信号较弱，常常导致平局和不可复现的排名。尽管迭代改进提高了候选输出，但LLM裁判未能持续识别出更好的输出。研究表明，LLM的评估能力并不直接转化为优化效用，并且有效的迭代改进需要确定性的验证信号。 AI
影响 表明当前的LLM评估方法可能不足以优化再生任务，可能影响依赖此类反馈循环的AI系统的开发。
排序理由 在arXiv上发表的研究论文，详细介绍了关于LLM评估能力的发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.13347v1 Announce Type: cross Abstract: LLM-as-a-judge is widely used to provide feedback and selection signals in closedloop regeneration, but this use remains insufficiently validated. We study it in table recognition, where deterministic TEDS evaluation provides a co…
LLM-as-a-judge is widely used to provide feedback and selection signals in closedloop regeneration, but this use remains insufficiently validated. We study it in table recognition, where deterministic TEDS evaluation provides a controlled testbed, using FinTabNet and OmniDocBench…