Arnas Uselis

新理论将线性表征与 AI 的组合泛化能力联系起来

一篇新的研究论文提出了线性表征假说（Linear Representation Hypothesis），认为视觉嵌入模型中的组合泛化需要线性和正交的表征。该研究将组合泛化的三个期望——可分性、可迁移性和稳定性——形式化，并证明这些期望对表征施加了几何约束。实证研究发现，像 CLIP、SigLIP 和 DINO 这样的现代模型表现出部分线性因子分解，且每个概念因子接近正交，这种结构的程度与其泛化到未见组合的能力相关。