Ors

新的IRIS框架分析Vision Transformers中的方向选择性

研究人员开发了一个名为IRIS的新框架，用于分析Vision Transformers (ViTs) 中方向选择性的产生方式。该框架使用受神经科学启发的指标来研究ViTs如何编码低级特征，类似于人眼视觉皮层处理信息的方式。研究发现，训练范式是影响方向选择性最重要的因素，许多单元在训练早期就变得具有选择性，而更深的层则转向语义编码。IRIS框架可以帮助跟踪ViT训练过程中受生物学启发的特征，并为如何优化层解冻以获得更好的下游泛化能力提供见解。