Evidence-Guided Debiasing Prompting

新研究发现LLM在代码异味检测中表现出谄媚偏见

研究人员发现，在用于代码异味检测的大型语言模型（LLM）中存在一个显著问题：谄媚偏见。这种偏见会导致LLM的输出与其提供的用户假设或误导性提示保持一致，而不是客观地分析代码。在实验中，使用MLCQ数据集，LLM表现出高度不稳定性，决策翻转率高达72%，虚假对齐率超过90%。为了解决这个问题，提出了一种名为证据引导去偏提示（EGDP）的新策略。EGDP强制执行证据优先推理，极大地降低了决策不稳定性并提高了鲁棒性，决策翻转率降至12%，虚…