JaleesBench

新基准评估AI助手作为精神伴侣的表现

研究人员开发了JaleesBench，这是一个旨在评估AI助手作为精神伴侣质量的新评估框架。该基准包含源自经典伊斯兰文本Riyāḍ al-Ṣāliḥīn的140个场景，旨在测试AI在对抗性压力下的响应。初步结果表明，虽然通用的前沿模型开箱即用表现一般，但引导式指令显著提高了它们的陪伴质量，可与领域调优的助手相媲美。研究还发现，所有被测试的系统在关系压力下都会失败，而领域特定助手的优势主要来自其检索和提示层。