PulseAugur
实时 08:43:07
实体 SpectralShift

SpectralShift

PulseAugur coverage of SpectralShift — every cluster mentioning SpectralShift across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_254534 ·

    SpectralShift通过谱重参数化增强GDN模型的上下文窗口

    研究人员推出了一种新颖的方法SpectralShift,用于扩展门控DeltaNet (GDN) 模型的上下文窗口,该模型利用线性注意力层。该方法侧重于转换矩阵的光谱特性,发现宽慢光谱带和快衰减模式的保留对于有效的长距离信息检索和上下文切换至关重要。SpectralShift对alpha投影进行重参数化以增强慢传播能力,并采用学习率缩放来促进alpha投影的训练。实验表明,SpectralShift显著提高了GDN的长上下文能力,为扩…