Semantic Reasoning Denoising

新方法SRD通过纠正语义错误来改进LLM推理

研究人员开发了一种新颖的方法——语义推理去噪（SRD），以提高大型语言模型的推理能力。SRD通过将语义噪声表示为可执行的错误算子来解决语言模型推理中的错误，这些算子指定了错误类型、位置和命题变化。这种算子化的马尔可夫去噪方法使模型能够在训练和推理过程中迭代地识别和纠正语义噪声。SRD在各种基准测试中都显示出显著的改进，其性能优于强大的基线模型，并与Llama-3-8B-Instruct等模型具有竞争力。