实体
Pak3H1
Pak3H1
PulseAugur coverage of Pak3H1 — every cluster mentioning Pak3H1 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的乌尔都语基准揭示了大型语言模型对齐中的文化不匹配问题
一个名为Pak3H的新基准已被开发出来，用于评估大型语言模型（LLMs）在乌尔都语中的文化对齐情况。该基准解决了现有多种语言评估的局限性，这些评估通常依赖于自动翻译，未能捕捉本地相关性。Pak3H包含经过人类验证的有用性、无害性和诚实性组件，在对各种LLM架构进行测试时，显示出显著的跨语言对齐差距。研究结果强调了需要进行人类指导的本地化，以确保公平的多语言LLM评估。
-
新的乌尔都语基准揭示大语言模型文化对齐差距
一个名为 Pak3H1 的新基准已被开发出来，用于评估大语言模型（LLMs）在乌尔都语中的文化对齐情况。这个经过人类验证的套件解决了现有多种语言基准的局限性，这些基准通常依赖于自动翻译，并且未能捕捉到本地相关性。使用 Pak3H1 进行的评估揭示了显著的跨语言对齐差距，表现为有用性下降、针对区域风险的无害性防护措施失效，以及由于本地化事实限制导致的诚实性指标降低。研究结果强调了在大语言模型对齐中进行人类指导的本地化，以实现公平的多语言…