Camilo Chacon-Sartori

新的EMPATH基准跨语言评估情感支持聊天机器人的安全性

研究人员推出了EMPATH，这是一个新的基准，旨在跨多种语言和对话轮次评估情感支持聊天机器人的安全性。与静态基准不同，EMPATH使用审计员模型模拟复杂的、多轮的危机对话，并根据五个维度上的19个指标对成绩单进行评分。在墨西哥西班牙语中的初步研究显示，许多指标的得分膨胀显著，并突出了模型性能的相当大的可变性，即使输入相同，也表明运行到运行的可靠性是每个模型关键的安全属性。该基准、其管道和相关数据正在发布以供更广泛地使用。