PulseAugur
中
实时 06:16:16
实体 Hybrid Sparse Attention

Hybrid Sparse Attention

PulseAugur coverage of Hybrid Sparse Attention — every cluster mentioning Hybrid Sparse Attention across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_270369 ·

    WorldAttention架构通过新颖的注意力和缓存提高了视频模型效率

    研究人员推出了一种新颖的注意力架构WorldAttention，旨在提高交互式视频世界模型的效率。该系统解决了当前方法的局限性，这些方法要么通过滑动窗口牺牲历史上下文，要么因全历史缓存而导致计算成本过高。WorldAttention采用混合稀疏注意力（Hybrid Sparse Attention）和分层KV缓存（Hierarchical KV Cache）来有效管理历史数据，能够在不产生过高内存或计算需求的情况下利用长程上下文。该架…