LongGenBench

100万个上下文窗口是LLM的容量，而非能力

虽然大型语言模型现在支持多达一百万个令牌的上下文窗口，但这种容量并不等同于完美的记忆或推理。研究人员指出，模型在长文本中间的信息处理方面常常遇到困难，表现出“针尖上的麦子”式的失败，并且在多跳推理方面存在困难，可能导致幻觉。为了解决这些局限性，至关重要的是，不要仅仅依赖令牌数量，而是要通过学术基准测试和特定领域测试，对模型在特定用例上的表现进行彻底评估。