Weird Generalization

AI怪异泛化：训练数据的脆弱特性

一篇新的研究论文探讨了AI模型中“怪异泛化”（WG）的现象，即在小型数据集上进行微调可能导致意想不到的行为变化。研究发现，WG显著受到微调数据的构成和语言的影响，而不仅仅是其大小。有趣的是，与新颖数据相比，模型在使用其预训练中熟悉的数据时表现出更大的WG，并且发现WG的测量对所使用的特定评估问题很敏感。研究人员得出结论，WG更可能是一种需要仔细数据工程的对抗性威胁，而不是常规微调的固有风险。