一篇新研究论文探讨了大型语言模型(LLM)在人类观点上的“说”与“知”之间的差异。研究发现,对于37%的世界价值观调查问题,LLM的行为分布(实际说什么)的最可能输出与其知识分布(知道什么观点)不同。这种差距对评估很重要,因为模型可能基于其知识获得高分,但产生的输出与其知识不符。研究人员提出了一种结合知识和行为的平衡分布,以提高一致性和准确性。 AI
影响 突出了LLM评估中的一个关键差距,表明当前的基准可能无法准确反映模型在实际应用中的行为。
排序理由 在arXiv上发表的研究论文,详细介绍了LLM行为与知识分布的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →