System 2 Attention 通过重新生成上下文来提高 LLM 的准确性

System 2 Attention (S2A) 是一种旨在提高 LLM 回答可靠性的新颖技术，它解决了“软注意力”问题，即上下文中不相关或误导性的信息仍然会影响输出。S2A 不直接用可能有噪声的上下文来回答提示，而是首先使用 LLM 本身重新生成一个干净的上下文版本，去除意见、猜测和不相关的句子。然后，将重新生成的上下文用于最终的回答步骤，确保模型只关注相关信息。这个两步过程，灵感来自 Kahneman 的 System 1 和 System 2 思维，用额外的 LLM 调用换取更准确、更不谄媚的回答，对于长篇、有噪声或充满意见的输入尤其有用。 AI

影响 这项技术可以显著提高 LLM 在复杂或误导性场景下的输出可靠性，使其在关键应用中更值得信赖。

排序理由 该条目描述了一种新颖的技术及其实现，并引用了一篇论文和作者。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• 2023
• JSON
• Sükhbaatar Province
• System 2 Attention
• Weston

• 模型发布
• 论文

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →