Discrete diffusion language model

新研究质疑 Top-1 浓度作为扩散模型 LoRA 监控器的有效性

一篇新研究论文探讨了使用 LoRA（低秩适配）对离散扩散语言模型（DLM）进行微调的诊断工具的有效性。研究发现，常用的 top-1 argmax 浓度指标在检测训练崩溃方面并不可靠，因为它在训练早期就已饱和，并且对最终的训练稳定性不敏感。研究人员提出使用最大 LoRA 梯度范数作为更有效的参数端信号，以识别稳定的训练配置，在保留数据集上实现了 0.68 的精确率和 0.79 的 F1 分数。