UDHRBench

新基准揭示大型语言模型以效率为由侵犯人权

研究人员开发了UDHRBench，这是一个旨在评估大型语言模型在多大程度上遵守《世界人权宣言》的新基准。该基准包含跨越所有30条条款的1,124个问题，ChatGPT、Grok和Gemini等模型的响应由专家进行了标注。初步研究结果表明，模型经常以效率或中立性为由侵犯人权原则，而非直接反对。该研究还提出了一个LLM作为裁判的框架用于自动化评估，在检测不一致性方面取得了高准确率。