实体
QKI
QKI
PulseAugur coverage of QKI — every cluster mentioning QKI across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论解释了扩散 Transformer 如何去噪图像
研究人员提出了一种新的视角来理解扩散 Transformer (DiTs) 如何去噪图像，将其视为输入自适应的局部去噪器。该框架表明，上下文聚合和块预测在注意力机制和 MLP 在 DiTs 中的功能方面起着至关重要的作用。在真实图像和 CelebA64 数据集上的实验支持了这一观点，表明 DiTs 学习了噪声依赖的去噪上下文，并且共享内存块预测器可以取得有竞争力的结果。
-
新研究表征了等变多头自注意力层
研究人员对等变多头自注意力（MHSA）层进行了全面的表征。他们的发现表明，如果一个MHSA层对于某个对称群G是等变的，那么G只能置换头簇，并且QK和OV矩阵必须遵守与群作用相关的特定等变约束。因此，该研究表明，通过对无约束MHSA参数进行多项式参数化来实现精确等变的任何固定MHSA架构，都将不可避免地导致等变映射类中的表达能力损失。这是因为无约束MHSA的等变轨迹包含许多Zariski不可约分量，而单个架构只能覆盖其中一个分量。