MADA-RL

新的MADA-RL框架通过参数高效的辩论学习提升紧凑模型的推理能力

研究人员开发了MADA-RL，一个新颖的训练后框架，旨在利用参数高效的方法增强紧凑型语言模型（40亿参数以下）的推理能力。该框架使用独特的辩论感知学习信号来训练专门的生成器和评估器模型，仅通过LoRA适配器微调一小部分参数。MADA-RL在DeepSeek-R1-Distill-Qwen-1.5B模型的数学推理基准测试中展示了2.0个百分点的准确率提升，并且与完全微调相比，可训练参数数量显著减少。