实体
SVD-Attention
SVD-Attention
PulseAugur coverage of SVD-Attention — every cluster mentioning SVD-Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的 SVD-Attention 方法分析 Transformer 的冗余性
研究人员开发了一种新颖的事后分析方法 SVD-Attention,用于分析和识别 Transformer 模型中的冗余注意力头。该技术分解了每个头的交互矩阵,并根据谱幅度(spectral magnitude)和激活方差(activation variance)对奇异模式进行评分。分析揭示了不同层和架构中冗余的任务相关模式,表明可以修剪特定头而对性能影响极小。虽然 SVD-Attention 主要是一个分析工具,但其应用可以带来适度的…
-
SOLAR框架使用SVD-Attention实现高效的终身推荐
研究人员开发了SOLAR,一个用于终身推荐系统的新框架,它利用SVD-Attention高效处理用户行为的大量序列。这种新颖的注意力机制将计算复杂度从O(N^2d)降低到O(Ndr),使系统能够处理广泛的用户历史记录和候选项目而无需截断。SOLAR在RecFlow和MIND等基准测试中表现出卓越的性能,以低延迟实现了高AUC,并已完全部署在快手(Kuaishou)的生产推荐系统中,带来了视频观看量的可衡量增长。