Glimmer-1-Base

研究揭示AI模型中的“领悟”现象是有条件的且脆弱的

一项发表在arXiv上的新研究调查了神经网络中“领悟”（grokking）现象，即泛化能力在训练完成后很久才出现。研究人员分析了一个小型、拥有12,000个参数的Llama风格的Transformer模型Glimmer-1-Base，使其能够被完全解析并进行详细检查。他们的发现表明，“领悟”是一种有条件的且脆弱的相变阶段，很大程度上受到训练集覆盖率的影响，并且对数值环境扰动敏感。