Francesco Karim Vicidomini

新研究深入探究小语言模型中的真理表征

研究人员探索了小语言模型中真理表征的内部机制，该研究建立在先前识别出通用真理子空间的工作之上。他们的调查显示，这些真理子空间的维度依赖于模型的知识库，随着知识的减少或材料异质性的增加而变得更加弥散。研究还发现，虽然注意力层传播真理框架，但前馈网络则与之对抗，并且SwiGLU值流与真理衰减存在因果关系。此外，每个类别的真理轴形成一个语义签名的排列，该排列在不同的模型家族中收敛，表明存在一个知识门控律而非架构律。