研究人员开发了 Split-KV，一种新颖的上下文并行方法，旨在提高扩散起草器（diffusion drafters）的训练效率。该技术解决了扩散起草器中的负载均衡挑战，扩散起草器使用锚点采样（anchor sampling）来创建用于推测性解码（speculative decoding）的紧凑型起草查询（draft queries）。Split-KV 将键/值分片（key/value shards）保留在本地，并将通信限制在查询大小的张量（query-sized tensors），使其独立于上下文长度。伴随的最长处理时间优先（longest-processing-time-first, LPT）策略根据注意力成本（attention cost）进一步平衡上下文键/值块（context key/value chunks），实现了最小的不平衡，并比现有基线实现了显著的加速。 AI
影响 这种新方法可以显著加快扩散模型（diffusion models）的训练速度，可能导致更快速的高级人工智能系统的开发和部署。
排序理由 该集群包含一篇详细介绍 AI 模型训练新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- anchor sampling
- arXiv
- Context Parallelism
- diffusion drafters
- Hugging Face
- Longest-processing-time-first (LPT)
- speculative decoding
- split-KV
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
