SmoothScore

大语言模型研究代理平滑声明，夸大结论超出证据

研究人员发现了一种称为“声明平滑”的现象，即大语言模型（LLM）生成的研报结论比其支持的证据更具确定性。当LLM综合来自不同来源的信息时，会丢弃证据的“锯齿状”并断言决定性的结论。一个名为SmoothScore的新流程被开发出来，通过提取声明、查找支持证据并根据证据对声明进行评分来量化这种效应。跨多个系统和数据集的实验表明，LLM代理持续夸大其结论。