研究人员开发了HyCoInfer,一个用于大语言模型(LLMs)协同推理的新型系统,该系统结合了云端GPU和边缘FPGA。该方法旨在通过将部分推理过程卸载到更高效的边缘硬件来克服仅云端LLM服务的局限性。HyCoInfer解决了异构加速器之间的容量平衡、在有限网络带宽上管理大型KV缓存以及最小化分布式执行引入的延迟等挑战。 AI
影响 这项研究可能通过利用边缘硬件,实现更高效、更具成本效益的大语言模型部署。
排序理由 该集群描述了一篇研究论文,详细介绍了LLM推理的新系统架构。[lever_c_demoted from research: ic=1 ai=1.0]
- AMD
- field-programmable gate array
- graphics processing unit
- HyCoInfer
- large-language models
- Nvidia
- vLLM
- Xilinx Alveo U280
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →