实体
Kanishk Awadhiya
Kanishk Awadhiya
PulseAugur coverage of Kanishk Awadhiya — every cluster mentioning Kanishk Awadhiya across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
撤稿论文将视觉 Transformer 稀疏性与数据复杂度关联起来
一篇最近被撤稿的 arXiv 论文探讨了视觉 Transformer (ViTs) 中“表征稀疏性”的现象。由 Kanishk Awadhiya 领导的研究提出，在 ViTs 中观察到的“U形”熵分布（信息在中间层被压缩）并非架构缺陷，而是数据依赖的适应。该研究分析了在不同复杂度数据集上 DINO 训练的 ViTs 的有效编码维度 (EED)，发现此瓶颈的深度与任务所需的语义抽象相关。
-
新的 H-Res 方法可在不改变权重的情况下高效适配 Transformer 模型
研究人员推出了一种名为 H-Res（分层残差引导）的新方法，用于适配大型 Transformer 模型，这些模型充当密集联想记忆体（DAMs）。该技术通过在激活流形内引导 token 轨迹来解决“可塑性-稳定性”困境，而无需改变模型的核心权重或增加序列长度。据报道，H-Res 在联想检索任务中，通过消除计算开销，在保留注意力熵和促进神经坍塌方面，比 LoRA 和 VPT 等现有方法提高了 26%。