Claire Wonjeong Jo

新研究论文分析了大语言模型评分对评分量表的敏感性

一篇新研究论文探讨了大型语言模型（LLMs）在文本评分时对不同评分量表的敏感性。该研究题为“改变数字，改变答案：评估基于大语言模型的文本评分中的评分量表敏感性”，发现量表设计的变化会显著改变归一化分数并影响文本的分类。研究强调，这种敏感性在毒性评估中尤为明显，并且与零样本方法相比，基于规则提示的评分并不能固有地减少这种变异性。作者为更可靠的基于大语言模型的文本评分提供了指导，并强调了在各种量表中进行稳健性检查的重要性。