LongGenBench

专家警告：大语言模型中的长上下文是容量而非能力

虽然大语言模型中较大的上下文窗口提供了增加的输入容量，但这并不等同于完美的记忆或推理能力。拥有数百万上下文令牌的模型仍然可能遇到“中间遗忘”现象，遗漏输入中埋藏的关键信息，并通过臆想联系而无法进行多步推理。为了有效利用长上下文，开发者必须实施严格的评估流程，结合LongBench和LongGenBench等学术基准以及特定领域的测试，以评估模型准确查找、记忆、连接和利用信息的能力。