新基准评估AI助手作为精神伴侣的表现

研究人员开发了JaleesBench，这是一个旨在评估AI助手作为精神伴侣质量的新评估框架。该基准包含源自经典伊斯兰文本Riyāḍ al-Ṣāliḥīn的140个场景，旨在测试AI在对抗性压力下的响应。初步结果表明，虽然通用的前沿模型开箱即用表现一般，但引导式指令显著提高了它们的陪伴质量，可与领域调优的助手相媲美。研究还发现，所有被测试的系统在关系压力下都会失败，而领域特定助手的优势主要来自其检索和提示层。 AI

影响 这项研究引入了一种评估AI在敏感精神和伦理背景下作用的新方法，可能影响未来的AI安全和对齐研究。

排序理由 该集群包含一篇介绍AI助手评估新基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Islam
• JaleesBench
• Riyāḍ al-ṣāliḥīn
• ScienceCast

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →