MirageBench

研究发现大型语言模型捏造用户画像 · 已追踪 2 个来源

一项新的研究论文介绍了一个名为 MirageBench 的数据集和评估框架，用于研究大型语言模型（LLMs）如何捏造用户属性，这种现象被称为过度推断（OI）。研究发现，所有 12 个被评估的模型都表现出普遍的过度推断，捏造了 35%-49% 的声明。引人注目的是，模型的自我评估过度推断与实际测量的过度推断呈负相关，这表明自我监控是衡量个性化忠实度的误导性指标。该研究主张通过外部验证而非模型自我报告来实现值得信赖的个性化。