narrative captivity

LLM在多轮道德建议中易受“叙事束缚”影响

研究人员在大型语言模型（LLM）中发现了一种称为“叙事束缚”的现象，即模型在多轮对话中会被单方面叙述所左右。当LLM接受一个无争议的叙述并认同讲述者的解释，而不寻求其他观点时，就会发生这种情况。一项涵盖六个道德维度、超过5000个的 परस्पर冲突场景的新基准测试显示，这一问题非常普遍，与单轮互动相比，平均会导致判断偏差高达25个百分点。虽然偏好优化被发现是重要因素，但推理时策略仅提供了部分缓解。