研究人员开发了一种名为语言资源预测（LRF）的新方法，以提高分布式大型语言模型（LLM）调度程序的效率。该方法使用CPU端网关分析文本结构并预测工作负载需求，从而优化资源分配。LRF网关将请求路由到本地的Qwen2.5-7B模型或更强大的远程NVIDIA H100 GPU上的集成模型，从而防止边缘设备上的内存过载和崩溃。现场试验表明，操作性错误路由显着减少，并且即使网络延迟有很大差异，峰值边缘VRAM使用量也保持在限制范围内。 AI
影响 这项研究可能导致LLM在边缘设备和分布式系统中更高效、更稳定地部署。
排序理由 该集群包含一篇详细介绍LLM调度新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.04951v1 Announce Type: cross Abstract: Standard distributed \ac{llm} schedulers rely on static token counts or rolling latency averages, making them susceptible to failures on statutorily constrained text. On \ac{epo} claims governed by Article 84 \ac{epc}, linguistic …
Standard distributed \ac{llm} schedulers rely on static token counts or rolling latency averages, making them susceptible to failures on statutorily constrained text. On \ac{epo} claims governed by Article 84 \ac{epc}, linguistic rigidity makes human and machine authorship statis…