Sükhbaatar Province

System 2 Attention 通过重新生成上下文来提高 LLM 的准确性

System 2 Attention (S2A) 是一种旨在提高 LLM 回答可靠性的新颖技术，它解决了“软注意力”问题，即上下文中不相关或误导性的信息仍然会影响输出。S2A 不直接用可能有噪声的上下文来回答提示，而是首先使用 LLM 本身重新生成一个干净的上下文版本，去除意见、猜测和不相关的句子。然后，将重新生成的上下文用于最终的回答步骤，确保模型只关注相关信息。这个两步过程，灵感来自 Kahneman 的 System 1 和 S…