BBQ benchmark

研究发现：答案格式显著影响大型语言模型性别偏见测量

一项发表在arXiv上的新研究调查了答案格式的变化如何影响大型语言模型性别偏见的测量。研究人员发现，将答案格式从封闭式改为李克特量表式或开放式回复，会显著改变偏见测量结果，有时甚至会颠倒结果排名。研究强调，不同的格式会引发模型不同的行为，例如在自由文本生成中进行选择、基于量表的分布或拒绝回答。这凸显了在进行可靠的大型语言模型评估时，将答案格式视为一个关键因素的重要性。