register tokens
PulseAugur coverage of register tokens — every cluster mentioning register tokens across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的 arXiv 论文比较生成模型图像分词器策略
一篇新的 arXiv 论文由 Philipp Schenkel 撰写，比较了为生成模型创建可变长度图像分词器的两种方法：基于块（patch-derived）的分词器和寄存器（register）分词器。基于块的分词器计算效率更高，并保留了明确的空间组织，在极端压缩下表现更好。寄存器分词器要求更高，但在中等压缩水平下实现了略好的重建质量，并在下游生成任务中优于基于块的分词器。研究还发现，将表示与外部视觉编码器对齐可以显著提高基于块的分词器的生成性能。
-
新方法使用区域感知Token增强图像检索
研究人员开发了一种新颖的方法，通过用区域感知的空间Token增强视觉Transformer中的标准[CLS]Token来改进细粒度图像检索。该方法受ColBERT框架启发，利用DINOv2-reg等模型的寄存器Token来识别和整合相关图像区域。该方法旨在提高详细图像比较的检索准确性，而不会显著增加存储成本。
-
Vision Transformer Token在语义与背景表示方面显示出专业化
研究人员调查了自监督Vision Transformer (ViTs)，例如DINOv2中特定Token类型的功用。通过在寄存器Token和高范数异常Patch Token上训练稀疏自编码器，他们发现寄存器Token与高级语义概念的联系更紧密，而异常Token则与背景和纹理模式相关。因果消融实验证明了显著的功能不对称性，破坏寄存器衍生的特征会导致表示相似度大幅下降，而破坏异常衍生的特征则不会。
-
研究发现寄存器 token 可增强像素空间扩散 Transformer
研究人员调查了寄存器 token 在扩散 Transformer (DiTs) 中的效用，发现虽然 DiTs 不像 Vision Transformers (ViTs) 那样表现出相同的 patch-token 异常值，但它们仍然受益于寄存器 token。研究表明，寄存器在像素空间 DiTs 中比在潜在空间 DiTs 中更有效，可能通过在更高噪声水平下产生更清晰的特征图。在此发现的基础上，该论文介绍了寄存器引导（Register Gu…
-
寄存器令牌使 Vision Transformer 具有可解释性和性能提升
研究人员开发了一种使用寄存器令牌的新方法，以提高 Vision Transformer (ViTs) 在人脸识别方面的可解释性和性能。通过向初始块嵌入添加可学习的寄存器令牌，与标准的 CLS 令牌或连接块嵌入 (CPE) 方法相比，ViT-8R 模型展示了更结构化和可理解的注意力图。这种增强不仅减轻了可解释性伪影，还在 IJB-B 和 IJB-C 等大规模基准测试中取得了最先进的成果。