PakBeaverTails

新的乌尔都语基准揭示了大型语言模型对齐中的文化不匹配问题

一个名为Pak3H的新基准已被开发出来，用于评估大型语言模型（LLMs）在乌尔都语中的文化对齐情况。该基准解决了现有多种语言评估的局限性，这些评估通常依赖于自动翻译，未能捕捉本地相关性。Pak3H包含经过人类验证的有用性、无害性和诚实性组件，在对各种LLM架构进行测试时，显示出显著的跨语言对齐差距。研究结果强调了需要进行人类指导的本地化，以确保公平的多语言LLM评估。