实体
token shuffling
token shuffling
PulseAugur coverage of token shuffling — every cluster mentioning token shuffling across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法解决MoE训练瓶颈，提高效率和可扩展性
两篇新的研究论文提出了在预训练期间优化专家混合（MoE）模型的方法，解决了阻碍可扩展性的显著通信开销。第一篇论文《MoE预训练中的专家耦合》引入了相关的专家放置和token打乱，以减少全对全通信，实现了高达1.41倍的步进时间缩减。第二篇论文《面向分布式MoE训练的内存高效专家路由》提出了RelayMoE，一种基于环的执行模型，可最大限度地减少内存使用并使通信与计算重叠，从而实现了高达2.02倍的吞吐量提升，并支持更长的序列长度。
-
新的 SARA 攻击绕过了 Vision Transformer 的隐私防御
一篇新的研究论文详细介绍了一种名为 SARA 的特征反演攻击，该攻击可以从分割推理系统中传输的 Vision Transformer (ViT) 嵌入中重建输入图像。该攻击表明，Token 打乱提供的隐私保护很小，而 Token 缩减提供了一些保护，但仍然允许大量信息泄露。研究人员还提出了一种涉及移除位置嵌入和知识蒸馏的边缘端防御机制来缓解这些攻击。