实体
Context Parallelism
Context Parallelism
PulseAugur coverage of Context Parallelism — every cluster mentioning Context Parallelism across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Split-KV 方法提高了扩散起草器训练效率
研究人员开发了 Split-KV，一种新颖的上下文并行方法，旨在提高扩散起草器（diffusion drafters）的训练效率。该技术解决了扩散起草器中的负载均衡挑战，扩散起草器使用锚点采样（anchor sampling）来创建用于推测性解码（speculative decoding）的紧凑型起草查询（draft queries）。Split-KV 将键/值分片（key/value shards）保留在本地，并将通信限制在查询大小…
-
DiTango框架通过选择性注意力提升扩散Transformer效率
研究人员开发了DiTango，一个旨在提高扩散Transformer（DiTs）生成高分辨率内容效率的新框架。DiTango通过观察到某些序列分区对注意力计算更为关键，从而解决了并行化DiT推理中的可扩展性问题。该框架使用选择性注意力状态机制来平衡计算和历史结果的重用，从而实现显著的加速。