P3B3

新基准揭示大型语言模型对巴西葡萄牙语存在偏见

一个名为 P3B3 的新基准已被开发出来，用于评估大型语言模型（LLMs）如何处理葡萄牙语的变体，特别是欧洲葡萄牙语（pt-PT）和巴西葡萄牙语（pt-BR）。该基准旨在解决当前 pt-BR 数据更普遍存在的不平衡问题，导致大型语言模型（LLMs）表现出对该变体的偏见。使用 P3B3 进行的实验显示，大多数经过测试的大型语言模型（LLMs）都强烈偏好 pt-BR，不同模型之间的可控性程度各不相同，这突显了在大型语言模型（LLMs）中更…