开源项目 llm-d 的开发旨在实现跨三个不同供应商 GPU 的异构推理服务。这种方法通过允许大型语言模型在混合硬件上运行来优化其部署。 AI
影响 通过实现对不同 GPU 硬件的灵活使用来优化 LLM 部署。
排序理由 这是关于一个用于基础设施优化的开源项目的研究级公告。[lever_c_demoted from research: ic=1 ai=0.7]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
