研究人员开发了 CATS 框架，支持在多个超低功耗无线设备上分布式推理大型 Transformer 模型。这种方法允许设备协同运行比单个设备能处理的模型大得多的模型，实验中模型大小可达 14 倍。CATS 利用一种名为 SomeGather 的新通信原语来减少带宽和内存使用，并采用一种能提高对不可靠无线连接鲁棒性的训练方法。 AI
影响 使先进的 AI 模型能够部署在资源受限的物联网设备上，将 AI 的应用范围扩展到新的领域。
排序理由 该集群包含一篇学术论文，详细介绍了用于 Transformer 模型分布式推理的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
