SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
PulseAugur coverage of SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability — every cluster mentioning SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability across labs, papers, and developer communities, ranked by signal.
-
新研究揭示视觉语言模型计数失败源于输出错位
研究人员发现，视觉语言模型（VLMs）在物体计数方面存在困难的一个关键原因是：其内部表征与其语言化输出之间存在错位。通过对VLM激活进行探测的研究表明，模型内部通常拥有正确的计数，但未能准确地表达出来。通过因果干预进一步证实了这种错位，干预显示增强正确的计数方向可以提高性能。为了解决这个问题，提出了一种检测器引导的自我纠正方法，该方法仅在内部错误检测器预测到失败时才重新提示模型，从而在无需重新训练的情况下显著提高了准确性。
-
新框架TGO-II揭示Vision Transformer表征在训练过程中的演变方式
研究人员开发了Transformer Geometry Observatory-II (TGO-II)，一个用于分析监督训练过程中Vision Transformer (ViT)内部表征的几何演变的新框架。使用Centered Kernel Alignment (CKA)和Singular Vector Canonical Correlation Analysis (SVCCA)等方法，TGO-II揭示了随着训练的进行，表征的专业化程…