PulseAugur
中
实时 08:33:36
实体 Hybrid attention Transformers

Hybrid attention Transformers

PulseAugur coverage of Hybrid attention Transformers — every cluster mentioning Hybrid attention Transformers across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_368034 ·

    FlashMorph2 优化混合注意力 Transformer 以实现长上下文理解

    研究人员开发了 FlashMorph2,一种用于优化混合注意力 Transformer 的 On-Policy 方法。该方法改进了保留完全注意力的层的选择,从而在 RULER 和 LongBench 等长上下文基准测试中获得更好的性能。FlashMorph2 还联合优化层选择和模型权重,性能优于先前的方法,并在各种模型规模上展示了效率。