实体
Kiran Prasannan Nair
Kiran Prasannan Nair
PulseAugur coverage of Kiran Prasannan Nair — every cluster mentioning Kiran Prasannan Nair across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的SAGE方法通过自适应梯度改进脉冲Transformer训练 · 跟踪2个来源
研究人员推出了一种新颖的代理梯度机制SAGE，旨在改进脉冲Transformer的训练。该方法利用注意力引导熵在训练过程中自适应调整代理梯度斜率，从而增强优化灵活性，而无需改变推理模型。在CIFAR-10和CIFAR-100数据集上的实验表明，SAGE相比传统的固定代理基线，能够实现1-2%的一致性准确率提升。
-
新的CausalGate框架通过剪枝模块提升Transformer效率
研究人员开发了CausalGate，一个旨在提高Transformer推理效率的新框架。与依赖观察性启发式方法的前辈不同，CausalGate采用一种干预引导的方法来精确衡量丢弃单个Transformer模块的语义影响。然后，这种重要性层次结构被蒸馏成静态的、轻量级的门控，消除了运行时开销。在TinyLlama-1.1B、Qwen2.5-3B和Llama-3.1-8B等模型上的评估表明，CausalGate的性能优于现有的动态路由和层…