Yohanes Andre Setiawan

新基准揭示RAG模型在误导性上下文方面存在困难

arXiv上发表的一项新研究引入了GRAB-RAG，这是一个旨在评估检索增强生成（RAG）模型区分缺失上下文和误导性上下文能力的基准。研究发现，即使有明确的弃权提示，小型冻结RAG模型在包含故意植入的误导性信息的问答中，错误率也超过40%。冲突检查和自然语言推理（NLI）验证器在减少错误答案方面有所改进，但它们要么牺牲了正确答案的覆盖率，要么在模型参数记忆与误导性段落一致时失效。