Human-LLM Reflection Framework

新研究发现：大型语言模型的修订在人类成功的地方却失败了

一篇题为《反思还是再生成？为什么大型语言模型的修订在人类修订成功的地方却失败了》的新研究论文，引入了人类-大型语言模型反思框架（HRF），以比较人类和大型语言模型的修订过程。研究发现，大型语言模型在其修订过程中表现出两种失败模式：在客观任务上，它们的反思产生的增益信息极少，仅仅是再生成；而在主观任务上，它会主动降低性能。相比之下，人类修订在这两种情况下都能持续改进答案。