研究人员推出了单答案原子长文本目标 (SALT) 基准，用于评估大型语言模型 (LLM) 在生成长文本时进行不确定性估计的能力。SALT 利用具有确定性地面真实情况的程序生成任务，无需人工判断即可进行单元级别的正确性和校准评估。使用 SALT 对 50 多个 LLM 进行的分析显示，虽然置信度排序在原子级别有所下降，但在更粗略的行级别单元中会出现可分离性。该基准还确定了两个错误驱动因素：来自损坏前缀的传播和因答案-上下文长度增加而导致的性能下降。此外，发现像思维链 (Chain-of-Thought) 这样的推理技术可以提高准确性，但会降低置信度排序。 AI
影响 该基准可能有助于在风险关键的 LLM 应用中更可靠地识别和缓解错误。
排序理由 该集群描述了一篇介绍用于评估 LLM 性能的新型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
