HalluJudge

HalluJudge系统检测AI代码审查中的幻觉

研究人员开发了HalluJudge，一个新颖的系统，旨在无需参考代码即可检测AI生成的代码审查评论中的幻觉。HalluJudge采用四种策略，包括结构化多分支推理，来评估审查评论与提供上下文的一致性。在Atlassian软件项目上的评估表明，HalluJudge具有成本效益，平均每次评估成本为0.009美元，F1得分为0.85。该系统在现实世界生产场景中的判断与开发者的偏好一致率为67%，为防止不准确的AI生成反馈提供了实际保障。