PulseAugur
实时 21:10:33
English(EN) COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels

COREY调度器优化Mamba SSM,但静态调优仍更快

研究人员开发了COREY,一种旨在优化Mamba选择性状态空间模型(SSM)性能的新运行时调度器。COREY将激活熵映射到分块大小,以提高选择性扫描内核的效率。尽管COREY在内核级别上显著降低了延迟,在消费级GPU上实现了高达4.41倍的提升,但由于调度开销,其端到端性能并未超过静态分块调优。 AI

影响 COREY展示了优化SSM性能的潜力,尽管目前的实现表明静态调优仍具竞争力。

排序理由 这是一篇详细介绍Mamba SSM新调度方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

COREY调度器优化Mamba SSM,但静态调优仍更快

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Bo Ma, Jinsong Wu, Weiqi Yan ·

    COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels

    arXiv:2604.10597v3 Announce Type: replace Abstract: Mamba selective state space models (SSMs) provide linear-time sequence modeling but remain sensitive to selective-scan chunk scheduling. We present COREY, a \emph{concept-and-feasibility} runtime scheduler that maps fixed-bin ac…