研究人员开发了 WorldMove 系统,旨在实现交互式世界模型的比特级精确迁移。这类模型是大型、有状态的模型,需要持续的 GPU 驻留。该系统能在 19 毫秒内迁移实时会话的多 GB 注意力缓存,确保目标是源的精确副本。WorldMove 通过在块边界迁移状态来实现这一点,从而保持交互式性能并保留模型在受控配置内不同 GPU 上的精确状态。 AI
影响 通过允许无状态损失的无缝迁移,实现了大型有状态 AI 模型更高效、更灵活的部署。
排序理由 该集群描述了一种用于管理有状态 AI 模型的新技术方法和系统,以研究论文的形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →