El Hassane Ettifouri

新的解码监控器改进了量化推理模型

研究人员开发了一种名为 Calibrated e-CUSUM Decoding 的新解码监控器，旨在提高量化推理模型的可靠性。研究表明，使用 token log-probability 的传统方法不足以检测生成失败。所提出的方法结合了警报分数和序列检测器来识别不可靠的轨迹，在提高准确性和减少 DeepSeek-R1-Distill-Qwen-1.5B 等模型的退化信号方面显示出潜力。