Stable but Wrong

新研究揭示AI模型可能“稳定但错误”

一篇题为《稳定但错误：当学习稳定在错误方向》的新研究论文探讨了一种现象，即机器学习模型看似训练成功，但实际上却收敛于错误的结果。该研究将这种状态定义为稳定但错误（SBW），在这种状态下，模型的学习过程根据操作标准是稳定的，但其结果却系统性地偏离了独立的客观标准。在强化学习、监督学习和大型语言模型微调方面的实验表明，这种表观优化与实际正确性之间的差异，凸显了仅依赖训练稳定性作为可靠性信号的一个根本性局限。