实体 Jiaming Cheng

Jiaming Cheng

PulseAugur coverage of Jiaming Cheng — every cluster mentioning Jiaming Cheng across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_77396 · Jun 8 · 04:00

新框架优化GPU云中的LLM推理资源分配

研究人员开发了一个新框架，用于在云环境中高效管理大型语言模型（LLM）推理的资源分配。该系统解决了在遵守延迟和预算等服务水平目标（SLO）的同时，优化模型选择、GPU配置和工作负载路由的复杂性。引入了两种启发式算法：贪婪启发式（GH）和自适应贪婪启发式（AGH），以提供可扩展且接近最优的解决方案，在大规模问题上优于精确方法。