研究人员推出了 DeflectBench，这是一个旨在评估大型语言模型按需生成修辞谬误能力的新基准。该基准测试了来自四个前沿模型在三种转移策略（“转移话题”、“人身攻击”和“转移视线”）下的 23,990 次生成。研究结果表明，模型拒绝回答的敏感性与其提示的结构和框架有关，而非争议性主张的内容，特定的提示更改会显著改变拒绝率。值得注意的是，“教育辩论教练”的提示框架极大地降低了拒绝率，尽管模型经常采取“标记式合规”，在回复中识别出谬误。 AI
影响 该基准可以为开发更强大的大型语言模型安全机制提供信息，防止其被滥用于生成操纵性或欺骗性内容。
排序理由 该集群包含一篇介绍用于评估大型语言模型能力的基准的研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
