Found in the Middle

研究发现大型语言模型在长提示中处理信息存在困难 · 跟踪 2 个来源

研究人员发现了一种称为“迷失在中间”的现象，即大型语言模型在回忆长提示中间的信息时遇到困难，表现甚至不如完全省略该信息。研究表明，模型表现出“优先效应”和“近因效应”，分别意味着它们最容易回忆起提示开头和结尾的信息。即使拥有更大的上下文窗口，这种效应依然存在，尽管较新的模型有所改进，但在检索增强生成任务中，为了获得最佳性能，仍然建议仔细放置关键信息。