实体 entmax-1.5

entmax-1.5

PulseAugur coverage of entmax-1.5 — every cluster mentioning entmax-1.5 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_48244 · May 22 · 17:25

Vision Transformers improved with selective token interaction

研究人员发现了一种称为“语义扩散”的现象，该现象会随着时间的推移降低 Vision Transformers (ViTs) 在密集预测任务中的性能。当全局语义信息不恰当地通过 patch tokens 扩散时会发生这种情况。为了解决这个问题，该研究提出使用稀疏注意力机制，特别是 entmax-1.5，使 token 交互更具选择性。这一改进显著提高了在 VOC、ADE20K 和 Cityscapes 等语义分割基准上的性能，同时保持了…