Dynamic Dual-CFG

新的DCGC框架使用扩散模型来纠正LLM推理错误

研究人员开发了DCGC，一个利用掩码扩散模型（MDMs）来纠正大型语言模型（LLMs）中错误推理轨迹的新颖框架。该方法使用来自上游求解器的不完美解决方案草稿作为辅助上下文，结合特定任务的监督微调（SFT）和一种称为动态双CFG的独特推理时机制。DCGC在数学、编码和知识推理基准测试中展示了更高的准确性，尤其是在无法获得真实失败标签的情况下，它充当了一个无验证器的全局校正模块。