Logistic Regression

逻辑理论解释 Transformer 抽象符号分类

研究人员开发了一种逻辑理论，用于理解 Transformer 如何对新鲜符号进行分类，重点关注它们进行抽象推理的能力，而不是依赖于具体的 token 名称。该研究在 Transformer-kernel 框架内分析了正则化核逻辑分类。一项关键发现将预测因子分解为理想的模板级分类器和由训练数据中意外的 token 重叠引起的扰动，这对泛化策略具有启示意义。