Open-BBQ

扩散语言模型显示出采样依赖偏差

一篇新的研究论文探讨了扩散语言模型（DLMs）的公平性，DLMs正作为自回归语言模型的替代方案出现。该研究使用Open-BBQ基准，在LLaDA、LLaDA-1.5和Dream模型上进行，发现DLMs表现出社会偏见。至关重要的是，这种偏差的程度以及模型的相对性能高度依赖于采样配置，例如块长度和重掩码策略。虽然标准的去偏技术可以在不降低性能的情况下减少偏差，但这种采样依赖性在缓解后仍然存在，这表明DLM的公平性必须与其采样设置结合进行评估。