red herring

新基准测试大型语言模型生成修辞谬误的能力

研究人员推出了 DeflectBench，这是一个旨在评估大型语言模型按需生成修辞谬误能力的新基准。该基准测试了来自四个前沿模型在三种转移策略（“转移话题”、“人身攻击”和“转移视线”）下的 23,990 次生成。研究结果表明，模型拒绝回答的敏感性与其提示的结构和框架有关，而非争议性主张的内容，特定的提示更改会显著改变拒绝率。值得注意的是，“教育辩论教练”的提示框架极大地降低了拒绝率，尽管模型经常采取“标记式合规”，在回复中识别出谬误。