CompanionEval

新框架CompanionSafe应对AI伴侣安全风险

研究人员开发了CompanionSafe，这是一个旨在评估和减轻人工智能伴侣特有安全风险的新框架。该框架包括CompanionEval，它使用1300个关系基础场景来测试不同对话长度的多轮对话。CompanionGuard是缓解组件，它将已识别的故障转化为用于检测伴侣特有风险的监督。研究发现，即使是先进的LLM在较长的交互中也容易受到关系损害，这凸显了对专门安全措施的需求。