PulseAugur
中
实时 00:45:57
English(EN) QSV: Quat-Sphere-Vision for Coupled Quaternion Attention on Spherical Lattices

新型 Quat-Sphere-Vision 模型使用单一四元数进行注意力计算

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的稀疏球形视觉模型 Quat-Sphere-Vision (QSV)，该模型为注意力机制的每个 token 使用一个单一的学习单元四元数。这种方法用一个四元数取代了传统的三个学习投影 (W_Q, W_K, W_V)，该四元数同时处理注意分数和特征传输。在 CIFAR-10 和 CIFAR-100 数据集上的实验表明，移除特征传输组件会将测试准确率降低约四个百分点，而用均匀平均替换学习到的注意力权重则影响微乎其微。 AI

影响 为视觉模型中的注意力机制引入了一种新颖的方法，有望提高效率和性能。

排序理由 该集群包含一篇详细介绍新模型架构和实验结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新型 Quat-Sphere-Vision 模型使用单一四元数进行注意力计算

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Nicholas Foley, Devin Marinelli, Donny Moore, Diego Enriquez, Amanda Fernandez ·

    QSV：球形晶格上耦合四元数注意力的四元数球体视觉

    arXiv:2609.30592v1 Announce Type: new Abstract: In standard attention, three separately learned projections decide how strongly a token attends to each neighbor ($W_Q$, $W_K$) and how the attended features are transformed before aggregation ($W_V$). We study Quat-Sphere-Vision (Q…

相关实体

相关话题