ThoughtDAG Context Repair Benchmark

LLM上下文修复基准显示模型难以处理已删除的信息

一个名为ThoughtDAG Context Repair Benchmark的新基准已被开发出来，用于测试大型语言模型（LLMs）如何处理对话上下文中的错误。在实验中，从对话中删除一条不正确的信息并不总是能纠正LLM的最终答案，一些模型继续根据已删除的信息产生错误结果。该基准强调，修复对话上下文不仅需要删除错误数据，还需要解决由此产生的下游影响，这表明子图剪枝或依赖回合的重新计算比简单的源删除更有效。