实体
attention layers
attention layers
PulseAugur coverage of attention layers — every cluster mentioning attention layers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
神经二次型统一了跨架构的学习动态
研究人员引入了神经二次型（NQF）作为一种统一的最小模型，以解释神经网络的学习动态。该模型通过将感知机、注意力层和专家混合等各种架构的具体细节抽象为单一的“结构矩阵”来统一它们。该理论预测，训练损失将遵循平滑的幂律或表现出突变式学习，具体取决于初始权重大小和数据特征。这些预测已在不同训练方法和架构中得到数值验证。
-
新攻击揭示表格基础模型的隐私风险
研究人员发现了表格基础模型中存在的重大隐私漏洞，尤其是在其注意力层中。一种名为AMIA的新攻击利用Transformer的注意力模式，有效地执行成员推理攻击（MIA），与传统方法相比，成员泄露显著增加。为解决此问题，开发了一种受k-匿名性原则启发的全新防御机制，该机制通过针对高风险查询来减少泄露，同时不影响模型性能。研究还强调，微调这些模型会加剧隐私风险，因为它们会放大记忆并可能通过置信度变化暴露敏感信息。