MAVEN框架评估AI与社会价值观的对齐程度

研究人员推出MAVEN，一个旨在评估多模态内容与和平、正义等宏观社会价值观对齐程度的新框架。该分层框架将价值观组织成6个主要维度和72个次级指标，支持多层次量化评分。MAVEN包含一个经过人类验证的多模态基准和一个用于评估视觉-语言模型（VLM）的软匹配指标。在基准上对现有VLM进行的实验揭示了它们在价值观判断上的显著差异，并且一个紧凑的2B评估器展示了与更大模型和前沿闭源VLM相当的性能。 AI

影响 该框架能够实现超越传统毒性指标的更细致的AI安全评估。

排序理由 该集群包含一篇详细介绍用于评估AI模型的新框架和基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Hugging Face
• MacroValue-Bench
• MAVEN
• SA-MDPO
• Vision--Language Models

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →