Homogeneity Gap

研究发现：大型语言模型在复数谓词的细微真值缺口方面存在困难

一篇新的研究论文探讨了大型语言模型（LLMs）在理解真值缺口方面的局限性，特别是在复数谓词方面。该研究引入了HomogeneityNLI数据集，旨在测试LLMs识别关于复数主语的陈述在仅适用于部分群体时可能既不为真也不为假的能力。研究结果揭示了七个开源模型中普遍存在的“二值偏差”，它们错误地分配了同质真值条件，导致在总结或验证混合证据时出错。