研究人员开发了Multi-SPIN，一种用于边缘端协同令牌生成的新型架构。该系统利用设备上较小的语言模型创建候选令牌草稿，然后由中央服务器的较大LLM并行处理以进行验证。该方法旨在平衡资源受限设备和服务器之间的计算负载，提高整体效率和吞吐量。 AI
影响 引入了一种新颖的分布式推理架构，可以提高边缘AI应用的效率。
排序理由 这是一篇详细介绍LLM推理新架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2606.04581v1 Announce Type: cross Abstract: Speculative inference (SPIN) was originally developed as an efficient architecture to accelerate Large Language Models (LLMs). In this work, we propose its distributed deployment to enable cooperative token generation in a multius…